Budućnost veštačke inteligencije sa YugoGPT tvorcem | Aleksa Gordić | EP 25
Вставка
- Опубліковано 23 кві 2024
- U ovoj epizodi gost nam je Aleksa Gordić, momak koji je kroz sam početak svoje karijere već prošao kroz gigante kao što su Microsoft, Google Deepmind, a čak je i osnivač Runa AI, startap koji je kreirala YugoGPT. Kakva karijera od samo 3 godine!
0:39 - Počeci karijere
4:40 - Posle diplomiranja
6:06 - Microsoft
11:28 - Deepmind
12:51 - Kako izgleda posao kao istraživač?
14:51 - Startup svet
18:55 - Zašto lokalni LLM?
22:47 - Budućnost učenje stranih jezika
25:40 - Kako se trenira LLM?
28:50 - Koji je glavni faktor kod treniranja LLM-ova?
30:30 - RAG
31:40 - Gemini
33:10 - Mišljenje o AI aktu?
42:03 - Trenutna scena AI giganta
47:10 - Zašto Apple ćuti?
50:32 - Sledeći koraci Microsoft-a
52:20 - Facebook
57:50 - Razum kod AI-a
1:07:57 - Da li je veći model, bolji model?
1:12:09 - Budućnost kodiranja
1:17:46 - Yugo GPT,sledeči koraci
1:20:39 - Interesantni usecasovi - Velike kompanije, dosadni zadaci
1:21:40 - AI Agent (Devin)
1:23:06- Kako do izbora karijere?
Takođe možete zapratiti i Aleksin kanal: / @theaiepiphany
Možete nas zapratiti i na audio platformama:
Podcast.rs: podcast.rs/show/data-minds-po...
Deezer: www.deezer.com/us/show/6103465
Spotify: open.spotify.com/show/7qPry9c...
Autori podcasta: Aleksandar Linc-Đorđević i Nenad Božić #aipodcast #podcast #ai #datascience #datasciencepodcast #dataminds #IT - Наука та технологія
Hvala na pozivu Nenade, uzivao sam! Nadam se da ce neko nesto uspeti da izvuce iz moje price. :)
Hvala puno što si nam se pridružio! Još mnogo toga smo mogli da se raspičamo, nadamo se da ćemo uskoro napraviti još jednu epizodu ChatGPT 2.0 :)
@@DataMindsPodcast Ja sam za! Ne moze 1 sat i 30 minuta je samo da se zagrebe povrsina, ja bas volim long format! :) Sledeci put idemo 2 sata.
Bez četiri sata ne počinjite i samo udrite po tehničkim stvarima 👏
Tito od gosta!
Odlična emisija, bravo za obojicu! 👏
Po sebi znam da je baš teško da se koriste termini na srpskom jer na poslu uvek koristimo termine na engleskom, ali možda bi trebalo da forsirate u podkastu domaću terminologiju. Ma koliko čudno zvučalo na srpskom, čudno je jer se ne koristi, vremenom će postati normalno.
Алекса је одлично упућен у стање ствари у AI. Предности, проблеми, будућност...
Капа доље.
Jezik je interpreter realnosti, onakve kakvu znamo :)
Tako da je jezik mnogo veliki alat :) i velika je odgovornost na njemu.
Super emisija
Sjajan podcast👌
Ivan Kukic iz Crne Gore, pravimo StartUp. U pitanju je Njemačko tržište za početak. Jedne od mogućih finansijera su Meta i Gensis. Trebao bi nam četvrti član tima, a volio bih da to bude gospodin Yugo. Mislim da možemo da ga usmjerimo u pravom smjeru da napravi ono što misli!
Hvala za ovu epizodu, kvalitetno potrošeno vreme. Jedino me iznenadilo što Aleksa smatra RAG za kratkoročno rešenje. Gledao sam podkast sa Guillermo Rouch-em gde on misli da je RAG here to stay (što mi je logičnije) jer rešava fundamentalan problem LLM-a, domain specific knowledge. Jeste da on nije expert za AI, ali kao neko ko premešta Vercel u AI first kompaniju i investira jako puno u AI startape, mislim da ima kredibilitet. Šteta što niste obradili agente, negde sam pročitao da će Agent APIs biti stvar ove godine. Pozdrav
Ako kontekst length postane 10 miliona + uskoro jednostavno sve mozes da keširaš. Nije daleko od realnosti vec sada, to je recimo jedan pravac.
Pogledaj "Neural Turing Machine" takodje. Ili DeepMind-ov Retro rad (gde se uci retrieval tokom treninga).
Mislim da ce RAG u svojoj sadasnjoj formi biti prevazidjen za par godina.
Mreze moraju/trebaju da budu trenirane direktno za ovaj task sa obzirom koliko je cest use-case. Embedovanje query vektora da bi trazio aproksimativne slicne snippet-e je jako neelegantan nacin da se uradi to sto zelimo.
Hvala puno @draganaleksic6071, sjajna ideja koju možemo da pređemo u nekoj narednoj epizodi!
Mislio sam da sam odgovorio ali se očigledno nije poslalo. 😅
Jedan razlog je sto modeli već imaju preko milion tokena dužinu konteksta (recimo Gemini). Za par godina to će biti 10+ miliona. Možeš jednostavno da keširaš ceo dataset od interesa direkt kroz model i potom radis Q&A.
RAG u svom trenutnom obliku je jako neelegantno rešenje problema. Embedovanje query-ja i potom koriscenje te vektorske reprezentacije da se aproksimativno nadju slični parčići teksta i potom to nagura u kontekst je baš neoptimalno. Pogotovo za multilingual setup (jer je izuzetno teško napraviti dobre multilingual embedding modele, Cohere se time bavi).
Pogledaj "RETRO" rad od DeepMind-a kako se LLM-ovi treniraju da nauče kako da iskoriste eksterni kontekst. Neural Turing Machine je takodje jako zanimljiva ideja.
RAG ce kada tada biti deo samog modela ili će autonomni agenti koristiti internet pretraživač da pametnije selektuju relevantne delove.
@@TheAIEpiphany Hvala na odgovoru. Nisam kompetentan da ulazim u dublju diskusiju ali mislim da veći context window nije zamena za RAG. Nisam ranije čuo za keširanje dataseta kroz model, ali ako ubacis ceo dataset u kontekst, recimo svih milion tokena, inference će da traje dosta dugo, od 30s do minut, dok je vektorska baza dizajnirana da pretražuje efikasno, za sekundu ili manje? Pošto se naplaćuje po broju input/output tokena, previše je skupo? Možda bi mogli da obradite ovu temu u nekoj narednoj epizodi
@@draganaleksic6071 Samo jednom izračunaš KV keš (keys/values) za svoj dataset, tako da posle ide instant. Jedino što moraju da se attend-uju prethodni KVs što jeste skuplje nego da krećeš od praznog konteksta ali postoje long context tehnike koje to adresiraju.
Шта је Рачунар?
Gost konstantno pominje godine, da li je tolika barijerar u zaposljavanju u IT svijetu sto se tice godine? Npr, da li se moze poceti karijeru u tom svijetu u ranim 40tima?
Moze ali jako tesko ces biti ozbiljno kompetitivan, slicno kao i u profesionalnom sportu.
Moci ces da nadjes posao naravno kada god da krenes da ucis bilo to i sa 40/50 ako je to krajnji cilj. Ali da napravis nesto bas ozbiljno - manje su sanse.
@@TheAIEpiphany ja sam ve u programiranju vec oko 5,6g sto se tice ozbiljnog ucenja, saljem ja na oglase ali isto imam osijecaj da kao da cim vide godine da se uopce ne pkazuju interes za taj CV, ne mogu reci da mi je znanje jednog senior, ali da sam (mozda) nesto iznda juniora (nisam siguran koja je razina mediora) pa me to svr ukupno jako buni, buni ta IT inudstrija sa svojim kriterijima! Imam ja tu GitHub nekim lijepim projektima imam par portofolija ali izgleda da to sve nije dovoljno! bilo je par razgovora za posao na koja sam prosao u drugi ili treci krug, ali onda tu sva prica stane! Odnosno ne jave mi se vise... Da li see vise isplati davati vrijeme na to ili da se okrenem i odustanem od svega sto se tice IT industrije...
Bias se prevodi kao sklonost ali u kontekstu Ai odnosno LLM, po mom mišljenju, više priliči reč pristrasnost a sbzirom da su takvi modeli trenirani i na podacima sa interneta i raznih društvenih mreža mogla bi se upotrebiti i reč predrasuda. Otud primeri rasizma i sličnih gluposti koje vidjamo.
Bias se koristi na vise nacina, sve zavisi od konteksta.
Bias je takodje i parametar u recimo linearnom ili konvolucionom sloju neuronskih mreza.
Јако занимљиво... Уживао сам слушајући. Само бих саветовао да кад се већ ради овакав пионирски посао за српски језик и да се користе српске речи када се говори. Знам са није лако превести изразе као bias (пристрасност) или overfit (преприлагођавање), али наша заједница треба да ипак прича на српском језику. Да не помињем да је task задатак а setting окружење. Не желим да звучим негативно и да омаловажим таленат и уложен рад али о овим детаљима треба водити рачуна!
Slazem se, mislim da sam se cak izvinio za previse anglicizama. 😅 Ali znas sta je fora, kada prevedes bias recimo, dobijes situaciju da neko ko se ovim bavi ne zna o cemu pricas a neko ko se ne bavi svakako ne razume. 😅
Bias je pritom jos i lako prevesti cim malo zadjes u terminologiju bude mnogo teze. Kako bi preveo "multihead attention"? Višeglava pažnja? 😂
Bavim se istim poslom kao on i isto sam uhvatio sebe kako pričam sve više engleske reči dok govorim srpski. Pokušavao sam to da ispravim ali je samo dovelo do toga da se moj tok misli i razgovora gubi i da ne mogu efektivno da komuniciram. Ubijam sam sebi ideju. Jedini način koji sam video kao rešenje je da više komuniciram na srpskom i čitam knjige, ali to nije moja oblast interesovanja, tako da sam nastavio da čitam o AI na engleskom jeziku i komuniciram na srpskom uz neke engleske reči. Kada hiljadu puta pročitaš i čuješ “overfit” zaista je teško da da taj jedan put ti padne napamet “preprilagođavanje”.
Мука је са енглеским ријечима.. Ја правим серијал о машинском учењу на српском језику на свом каналу и јбг користим енглеске ријечи. То је једноставно глобално успостављена терминологија.
Ако тражимо наш термин треба да га препишемо од Хрвата. :)
Што се тиче Overfitting-а мени је на уму да користим ријеч "претренираност". Као, модел је претрениран. Баш ми се појављује у следећем видеу.
Сјећам се изјаве боксера Слободана Качара кад је изгубио меч рекао је да је због тога што је био претрениран. :) Претходно је побиједио Мухамеда Алија.
@@TheAIEpiphanyДа, тешко је наћи доброг преводиоца који има и осећај за језик и да разуме саму суштину појма који и инжињерима задају муке. Self-attention би могло да се преведе као самоусмерена пажња (самопажња је дух англицизма у српском језику који не паше никако) а multihead selfattention једноставно као вишеструка самоусмерена пажња... Разумем скроз, када учиш на енглеском ти појмови остају у глави нарочито када не постоје устаљене српске речи, али у неком тренутку морамо доћи до њих, а њих дефинише стручна заједница 😊
OpenAI GPT radi perfektno na srpskom jeziku , ne vidim potrebu za YugoGPT, ok momak je pametan i perspektivan to se vidi na prvu ali YugoGPT cist promasaj ! Zelim ti puno srece i uspeha sa nekim boljim projektom u buducnosti !
Ima dosta razloga zasto biznisi zele manje modele poput YugoGPT-ja, neki su tehnicke prirode (mozes da fine-tune-ujes model na svojim internim kompanijskim podacima, model brze generise tekst, mozes da radis takozvani constrained sampling, itd), neki su vezani za trosak (recimo ako kvantizujes model ispasce ti mnogo jeftinije nego da koristis OpenAI) i mnogo jos razloga (ukljucujuci bezbednost podataka jer ne moras da saljes vredne i osetljive podatke na američki api).
@@TheAIEpiphany Ok, ima smisla to sto kazes !
YugoGPT malo mesa srpski i spanski, vidite popravite to.
Hmm imas primer? :) nisam jos video takvo ponasanje