Rozwijanie AI w Nvidii - rozmowa z Piotrem Żelasko [Blackwell, NeMo]
Вставка
- Опубліковано 21 жов 2024
- Rozmowa przedstawia wyłącznie prywatne opinie i nie jest oficjalnym stanowiskiem firmy.
Piotr Żelasko jest głównym naukowcem badawczym w firmie Nvidia, specjalizującym się w automatycznym rozpoznawaniu mowy (ASR), przetwarzaniu języka naturalnego (NLP) oraz rozumieniu mowy. Uzyskał doktorat na Akademii Górniczo-Hutniczej w Krakowie. Pracował także w John Hoppkins University. Jego kariera obejmuje także różne firmy: Techmo, IntelligentWire, Avaya i Meaning. Jego prace naukowe są szeroko cytowane w dziedzinie technologii mowy.
Obecnie AI jest liczone na architekturach projektowanych pod przetwarzanie grafiki. Czy kolejna fala rewolucji AI może być efektem całkowicie nowych urządzeń obliczeniowych zaprojektowanych ściśle pod obliczenia NLP? Czym jest nowy projekt Nvidii Blackwell. Obecnie większość systemów AI działa na architekturach GPU, które pierwotnie były projektowane do przetwarzania grafiki. Projekt Blackwell firmy Nvidia to nowa architektura GPU, która ma na celu zrewolucjonizowanie obliczeń AI, w tym NLP. Blackwell oferuje nowe rdzenie tensorowe i technologie NVLink, które znacznie zwiększają wydajność i efektywność energetyczną, umożliwiając obsługę modeli AI o bilionach parametrów.
Czego braknie pierwszego w obecnej spirali rozwoju: prądu czy danych? W miarę jak rozwój AI przyspiesza, rośnie zapotrzebowanie zarówno na energię, jak i dane. Obecnie jednym z głównych wyzwań jest rosnące zużycie energii przez centra danych, które przetwarzają ogromne ilości informacji. W niektórych regionach już teraz pojawiają się problemy z dostępnością energii, co może hamować dalszy rozwój technologii. Piotr jednak uważa że większym wyzwaniem jest dostęp do danych. Zwraca jednak uwagę na silny trend wykorzystywania syntetycznych danych do treningu.
Nvidia NeMo to otwarta platforma do budowy modeli rozpoznawania mowy, która wyróżnia się elastycznością i skalowalnością. Umożliwia łatwe tworzenie, trenowanie i wdrażanie modeli ASR, a także integrację z innymi narzędziami AI. NeMo oferuje zaawansowane funkcje, takie jak obsługa wielu języków i dialektów, oraz możliwość dostosowywania modeli do specyficznych potrzeb użytkowników.
NeMo można zainstalować lokalnie i jest dostępne na platformach takich jak GitHub. Użytkownicy mogą modyfikować słowniki, dostosowywać modele do swoich potrzeb oraz dotrenować je na własnych danych. NeMo oferuje szeroką dokumentację i wsparcie społeczności, co ułatwia jego implementację i adaptację.
Piotr dzieli się z nami także jego odczuciami co do pracy w Nvidii. Jest ona dynamiczna i innowacyjna, z naciskiem na rozwój zaawansowanych technologii. Firma oferuje inspirujące środowisko pracy, gdzie pracownicy mają możliwość współpracy z czołowymi ekspertami w dziedzinie AI i technologii komputerowych. Nvidia kładzie duży nacisk na rozwój zawodowy i osobisty swoich pracowników, oferując liczne programy szkoleniowe i możliwości rozwoju kariery. Nvidii nadal umożliwia całkowicie zdalną pracę.
www.nvidia.com...
www.nvidia.com...
Dzięki za świetną rozmowę!
Ja również dziękuję !
Bardzo ciekawy wywiad! Pozdrowienia Piotrku! :)
@@dawidsidor8887 dzięki :)
To co robicie jest
Bardzo ciekawy wglad w swiat Nvidii, dziekuje!
a ja za ten miły komentarz dziękuję :)
Moja 4090tka to najlepsza karciocha na świecie
Bardzo lubię tyle pozytywnej energii :)
To ja dziękuję Wam za wspaniałą pracę i pasję ;) czekam udeptuję ziemię na premierę RTXa 5090tkę . Pamiętam moją pierwszą kartę graficzną od NVIDII 128 zx ?? 4 mb vram (zaraz po 3dFXie) jak to fajnie chodziło i już wtedy było wiadomo że NVIDIA to Mistrzostwo Świata. Mam nadzieję że dla pasjonatów i graczy NVIDIA będzie przychylna ;) . Jeszcze raz pozdrawiam .
Chodzi za mną pewna myśl, wynalazek - co do którego pierwsza połowa rozmówców odpowiada żebym na pewno się tym nie zajmował a druga nie rozumie pytania - temat więc na pewno jest warty uwagi tylko nie potrafię go odpowiednio zaprezentować.
Pozwolę sobie zadać to pytanie w szacownym gronie ponieważ trochę nawiązuje ono do tezy postawionej przez Przemka Maciołka w poprzednim filmie na kanale, że modele generatywne nie radzą sobie z zagadnieniami symbolicznymi jak również (zapewne!) może nawiazywać do tematu tej premiery :).
Czy współczesny rynek IT potrzebuje sprzętowego wsparcia przyspieszonej logiki / obliczeń symbolicznych - "akceleratora prawdy" (TM)?
Czy też oprócz wynalazku trzebaby pod niego wytworzyć odpowiedni rynek zbytu :) ?
Akcelerator potrafiłby znajdywać zakresy dostępnych rozwiązań w formułach symbolicznych z relacjami arytmetycznymi czyli zamiast zwężenia danych wejściowych określałby przestrzeń rozwoju możliwych rozwiązań.
Najlepiej więc aby na wejściu dostarczyć reguły intensywne wyliczeniowo a nie wielowymiarowe rozległe bazy danych w których nie wiadomo jeszcze czego warto szukać ;). Czy jest techniczne zapotrzebowanie na sprzęt do stawiania hipotez i rozpościerania prawdziwych możliwości zamiast do prostej mogącej się pomylić inferencji Tak/Nie?
Moim zdaniem problem bierze się głównie z tego że ludzie mylą LLM z bazą danych i z czymś od wszystkiego. W efekcie oczekują że chatGPT zrobi wszystko dobrze. Przy projektowaniu rozwiązań Ai trzeba pamiętać że LLM to nie baza danych i wszystko co się da w miarę łatwo robić poza LLMem trzeba robić poza LLMem.
Co do produktu który opisujesz, to moja opinia na szybko jest taka że rynek na takie rozwiązanie jest, ale to głęboko ukryty popyt. Ciężko będzie do nich dotrzeć, jeszcze trudniej sprawić aby zaufali.
WITAM D:
Hej hej
wstyd pracować dla żyda