Inferenza, non interferenza. La prima è un processo statistico, la seconda un disturbo non voluto. Avendo visto l'evoluzione delle SIMD e delle GPU, la mia idea è che le npu siano delle unità ancora molto immature per un reale utilizzo. La mole di dati che si processano per creare modelli di ia sono talmente elevati che avere delle npu sui computer di casa, al momento serve più ad Apple e a Microsoft per giustificare i loro nuovi sistemi che realmente a fare calcoli. Forse in futuro vedremo delle NPU che processano anche dati complessi in virgola mobile.
Il floating point serve solo nell'addestramento dei modelli, in fase di inferenza la maggior parte dei modelli viene quantizzato ad 8 bit per una questione di efficienza (il modello occupa la metà, quindi a parità di memoria puoi avere il doppio dei parametri che ti porteranno un inferenza più precisa), oltre al fatto che i calcoli in virgola mobile sono molto più complessi a livello computazionale rispetto ai calcoli tra interi. Detto ciò, soluzioni NPU per addestramento che possano competere con le GPU sono pressoché inesistenti, se non per le google TPU v2 e v3 ma che non sono in commercio (e che sono comunque limitanti); l'unica cosa che si avvicina sono gli acceleratori AI ma sono considerati praticamente GPU da datacenter (NVIDIA H100, H200 ed controparte INTEL).
Complimenti per gli argomenti trattati e per le competenze. Mi permetto di suggerirti di valutare la possibilità di frequentare un corso di dizione. A mio avviso traeresti molti vantaggi nel migliorare l'esposizione che a volte risulta troppo veloce con tendenza a "mangiare" le parole.
Bella Saddy🫡 Ho visto che ci sono delle soluzioni di Hailo che propone NPU sia su M.2 che su PCIe e sarebbe fico se potessi fare un approfondimento su queste soluzioni esterne. Io immagino che in futuro ci saranno sempre più soluzioni di questo tipo.
Se uso strumenti come Stable Diffusion quindi mi conviene continuare ad andare di GPU? Se sono preferite per l'ambito video immagino che sia lo stesso per le immagini statiche.
Alla fine, in un modo o nell'altro, siamo tornati al buon vecchio coprocessore matematico. Solo che quelli del passato erano utili a fare calcoli, questi sono più utili al marketing 🙂
be generare video citanto Sora che è gestita da server privati mi sembra un errore, generare un video con una GPU = video storpio or GPU = mille anni di rendering
Grazie per il video, ma non ho capito nello specifico quale è migliore tra NPU e GPU, cioè per esempio se mi limito solo a parlare con un chatbot chiedendogli che so di farmi il riassunto di un testo in questo caso meglio NPU o GPU? Mentre invece se uso un text to image? O addirittura un text to video? Quale tra le due sarebbe la migliore scelta? O magari con entrambe funziona tutto meglio?
Ormai stanno obbligando l'utente finale a passare a device con npu, tra alcuni os e applicazioni varie.. però i costi sono elevati, tanto per l'hw quanto per il consumo energetico, e termico.. si spera in un calo del "vecchio" hw , che sarà penso almeno per portatili e pc preassemblati. So che sarà migliorata tanta tecnologia, ma quanto costa a te avere tutta sta roba, se puoi usare servizi terzi..si vaporizza la privacy, purtroppo è già andata da tempo..uff, sarà peggio di Matrix 😱
Per i giochi NPU e GPU si aiutano a vicenda, NPU per fare AI è una stronzata, non avrà mai la potenza di Chatgpt con un database enorme e addestrata per parecchio tempo. Una NPU locale gli serve appunto solo per fare cose semplici come spiarti
praticamente un terzo dei tuoi video sono "ASSURDO" "PAZZESCO" "ORA CAMBIA TUTTO" quando in realta non cambia mai niente o in minima parte e' possibile cambiare titolo ogni tanto e fare meno sensazionalismo ?
Roba utile nell'utilizzo di tutti i giorni.... Come andare al supermercato a fare la spesa grande con la porsche. Utile al 5% delle aziende e a nessun utente finale....
Beh riassunti, traduzione simultanea, TTV e VTT, creazione automatica testi, ecc. mi sembrano comunque cose utili… È che magari non siamo abituati ad utilizzarle
Per un utentre pro... Pensa alle aziende, alle banche, alle poste. Il pc serve a far andare una stampante, un barcode e un emulatore per usare sistemi unix, o peggio far girare il browser per usare il sistema aziendale. Per molte aziende e gia stato pesante abbandonare xp per 7, pensa poi introdurre i 64 bit. Con la debacle di windows 10 e la supposta windows11. Trovare un emulatore per far girare il proprio sistema unix, e avere un browser per fare andare il sistema aziendale. Tutte queste cose non servono. Ai gamer, alle aziende, sicuramente. Ovviamente ottimo che esistano, ma e roba per pochi. Non dovrebbe essere implementata ovunque, ma create serie con certe caratteristiche e serie con altre caratteristiche.
Sarebbe come dire che una cpu a 64 bit non può fare ciò che fa un chip a 16 bit perchè le istruzioini sono più grandi? La valanga di potenza delle GPU poi...Ma poi il consumo di energia? perchè nel mentre la scheda grafica non la usi ugualmente? alla fine è un delta ridicolo. Io comunque sta roba la terrò furi dal pc il più possibile, le email me le scrivo da solo.
Grazie per la spiegazione saddy
Inferenza, non interferenza. La prima è un processo statistico, la seconda un disturbo non voluto. Avendo visto l'evoluzione delle SIMD e delle GPU, la mia idea è che le npu siano delle unità ancora molto immature per un reale utilizzo. La mole di dati che si processano per creare modelli di ia sono talmente elevati che avere delle npu sui computer di casa, al momento serve più ad Apple e a Microsoft per giustificare i loro nuovi sistemi che realmente a fare calcoli. Forse in futuro vedremo delle NPU che processano anche dati complessi in virgola mobile.
Sicuramente lui intendeva inferenza, si sarà solo distratto.
Il floating point serve solo nell'addestramento dei modelli, in fase di inferenza la maggior parte dei modelli viene quantizzato ad 8 bit per una questione di efficienza (il modello occupa la metà, quindi a parità di memoria puoi avere il doppio dei parametri che ti porteranno un inferenza più precisa), oltre al fatto che i calcoli in virgola mobile sono molto più complessi a livello computazionale rispetto ai calcoli tra interi. Detto ciò, soluzioni NPU per addestramento che possano competere con le GPU sono pressoché inesistenti, se non per le google TPU v2 e v3 ma che non sono in commercio (e che sono comunque limitanti); l'unica cosa che si avvicina sono gli acceleratori AI ma sono considerati praticamente GPU da datacenter (NVIDIA H100, H200 ed controparte INTEL).
Complimenti per gli argomenti trattati e per le competenze. Mi permetto di suggerirti di valutare la possibilità di frequentare un corso di dizione. A mio avviso traeresti molti vantaggi nel migliorare l'esposizione che a volte risulta troppo veloce con tendenza a "mangiare" le parole.
Grazie Saddy! Ho imparato qualcosa oggi!
Bella Saddy🫡
Ho visto che ci sono delle soluzioni di Hailo che propone NPU sia su M.2 che su PCIe e sarebbe fico se potessi fare un approfondimento su queste soluzioni esterne. Io immagino che in futuro ci saranno sempre più soluzioni di questo tipo.
Se uso strumenti come Stable Diffusion quindi mi conviene continuare ad andare di GPU? Se sono preferite per l'ambito video immagino che sia lo stesso per le immagini statiche.
ho una xfx rx6600 . Ma e normale che le ventole siano rumorose con la gpu al 100% o le ventole sono difettose?
Alla fine, in un modo o nell'altro, siamo tornati al buon vecchio coprocessore matematico. Solo che quelli del passato erano utili a fare calcoli, questi sono più utili al marketing 🙂
Ciao Saddy e grazie per i tuoi contenuti, sempre moolto interessanti. Mi confermi che Rtx Chat funziona solo con win11? Grazie!👋👋👋👍
be generare video citanto Sora che è gestita da server privati mi sembra un errore, generare un video con una GPU = video storpio or GPU = mille anni di rendering
Grazie per il video, ma non ho capito nello specifico quale è migliore tra NPU e GPU, cioè per esempio se mi limito solo a parlare con un chatbot chiedendogli che so di farmi il riassunto di un testo in questo caso meglio NPU o GPU? Mentre invece se uso un text to image? O addirittura un text to video? Quale tra le due sarebbe la migliore scelta? O magari con entrambe funziona tutto meglio?
@@filippo679 ti consiglio di riguardare il video perché è esattamente quello che viene spiegato
t'ho visto oggi a sesto san giovanni
Ormai stanno obbligando l'utente finale a passare a device con npu, tra alcuni os e applicazioni varie.. però i costi sono elevati, tanto per l'hw quanto per il consumo energetico, e termico.. si spera in un calo del "vecchio" hw , che sarà penso almeno per portatili e pc preassemblati.
So che sarà migliorata tanta tecnologia, ma quanto costa a te avere tutta sta roba, se puoi usare servizi terzi..si vaporizza la privacy, purtroppo è già andata da tempo..uff, sarà peggio di Matrix 😱
Per i giochi NPU e GPU si aiutano a vicenda, NPU per fare AI è una stronzata, non avrà mai la potenza di Chatgpt con un database enorme e addestrata per parecchio tempo. Una NPU locale gli serve appunto solo per fare cose semplici come spiarti
quindi npu is the new e-core D: comunque apprezzabili
Fp63?
63???
Ma è un messaggio in codice per dire che sei stato rapito?
63?
Bravo SAddy, tu le cose le sai spiegare
Ti prego rimetti la sigla a inizio video , ne sento il bisogno ( mi sa che inizierò ad utilizzarla come suoneria chiamate)
praticamente un terzo dei tuoi video sono "ASSURDO" "PAZZESCO" "ORA CAMBIA TUTTO" quando in realta non cambia mai niente o in minima parte e' possibile cambiare titolo ogni tanto e fare meno sensazionalismo ?
Però te ci caschi sempre quindi vuol dire che funziona…
primo, video uscito 49 secondi fa, 3 views, 2 like
😇
Roba utile nell'utilizzo di tutti i giorni....
Come andare al supermercato a fare la spesa grande con la porsche.
Utile al 5% delle aziende e a nessun utente finale....
Beh riassunti, traduzione simultanea, TTV e VTT, creazione automatica testi, ecc. mi sembrano comunque cose utili… È che magari non siamo abituati ad utilizzarle
Per un utentre pro...
Pensa alle aziende, alle banche, alle poste. Il pc serve a far andare una stampante, un barcode e un emulatore per usare sistemi unix, o peggio far girare il browser per usare il sistema aziendale. Per molte aziende e gia stato pesante abbandonare xp per 7, pensa poi introdurre i 64 bit. Con la debacle di windows 10 e la supposta windows11.
Trovare un emulatore per far girare il proprio sistema unix, e avere un browser per fare andare il sistema aziendale.
Tutte queste cose non servono. Ai gamer, alle aziende, sicuramente.
Ovviamente ottimo che esistano, ma e roba per pochi.
Non dovrebbe essere implementata ovunque, ma create serie con certe caratteristiche e serie con altre caratteristiche.
Sarebbe come dire che una cpu a 64 bit non può fare ciò che fa un chip a 16 bit perchè le istruzioini sono più grandi? La valanga di potenza delle GPU poi...Ma poi il consumo di energia? perchè nel mentre la scheda grafica non la usi ugualmente? alla fine è un delta ridicolo. Io comunque sta roba la terrò furi dal pc il più possibile, le email me le scrivo da solo.
Ciao fai la reaction sul nuovo pc di Giampytek? Spolliciate in milioni per farglielo leggere