Ollama - Run Local AI Models [Sub EN] -

Ciao! Torniamo a parlare di AI con un aggiornamento sul progetto Ollama, che sembra procedere spedito, ogni settimana rilasciano una nuova release.
Nell'ultima versione 0.1.34 abbiamo tanti bug fix ma anche alcune "importanti" nuove funzioni!
Fatemi sapere la vostra opinione nei commenti!
Link per approfondire
- github.com/ollama/ollama
- ollama.com/
Mi raccomando di commentare il video e se possibile lasciarci un feedback positivo :-) grazie
Speaker: Dimitri Bellini - Zabbix Certified Trainer
Credits:
- Drops of H2O ( The Filtered Water Treatment ) by J.Lang
@Zabbix #ai #ollama #llm #generativeai #onpremise #openchat #quadrata #zabbix #zabbixitalia #virtualization #chatgpt #proxmox #business #howto #monitoring #opensource #enterprise #rockylinux #operatingsystem #rhel #centos #suse #linux #sysadmin #tutorial #GCP #UAE

[@emanuelmilani7976]

Ma installer ufficiale non usa docker. E sinceramente non ho visto altri video che ne parlano che usano docker per ollama 😮 (non dico non esistano però non sembra la prassi). Non so come era varie versioni fa. Ora è un solo binario
Cmq io lo ho installato su un container di proxmox, niente gpu e funziona (lentino). Ancora ci sto facendo esperimenti

[@quadrata]

@emanulelmilani7976 Grazie per il commento, hai ragione! Ho guardato il file di installazione che trovi nel loro sito, alla fine installa il binario di Ollama ed i Driver della scheda video. Probabilmente e' la strada piu' semplice per poterlo usare.
Ma sicuramente consiglio l'opzione "container" per poter avere piu' controllo e flessibilita' anche per installare altri software ed evitare problemi con le relative dipendenze 🙂Grazie ancora per aver commentato!

[@giuseppevero2359]

Buongiorno Dimitri, a scanso di equivoci, ma l' hardware utilizzato per questa demo, è l'Apollo?

[@quadrata]

@@giuseppevero2359 Ciao Giuseppe, si esatto! L' HPE Apollo con le due RTX 8000, tutto sotto Proxmox. La macchina di Ollama e' una VM con le GPU passate in passthrough.
Fammi sapere se hai bisogno di altre info.
Salutone