[RESOLU] Merci aussi. Je pose une question à la communauté au cas ou quelqu'un à été confronté au même problème que moi. Le GPU (nvidia4060 en l'occurrence) n'est pas du tout détecté par le docker ollama. j'ai installé le système sur un Win 11 avec Docker Desktop. Tout fonctionne , j'ai mis openwebui, accès par reverse proxy, avec tout plein de models qui fonctionnent, mais sur le CPU. J'ai tellement galéré et besoin de résoudre le problème que j'apporterai la réponse si personne me la donne. ca pourra peut être aider. Habituellement je fais tout sur mon Nas qui existe un peu Grace à toi , mais cette fois ci les performances réclamées nécessitaient que j'installe sur une autre machine, c'est pour cela Win11.
Intéressant, je m'étais justement gardé sous le coude une autre video qui parlait de ollama : ua-cam.com/video/IJYC6zf86lU/v-deo.html avec en UI:, AnythingLLM qui permet d'intégrer ses propres documents. J'avais déjà testé privateGPT en local sur un linux avec GPU nvidia (en installant les drivers cuda) et ça fonctionnait plutôt bien. Pour la partie domotique, sous Home Assistant, il y a un plugin qui existe a brancher sur un GPT local (ou chatGPT) : ua-cam.com/video/pAKqKTkx5X4/v-deo.html j'ai pas encore testé , ça demande de faire son propre matériel pour la reconnaissance vocal. En tout cas le futur est prometteur, nos assistants vont enfin comprendre des vrais phrases.
Salut Christian ! Je me permet de rebondir sur ce que tu dis car je suis actuellement entrain de tester ollama + anythingLLM. As-tu fait d'autres choses depuis ? Dans l'entrainement d'IA surtout je veux dire. Car le but pour moi c'est de trouver une IA open source, de pouvoir lui donner une doc, et via une API d'y accéder et de poser des questions.. :) Merci !
Super, merci, je viens de le mettre en place sur mon serveur, j'ai pu faire tourner des tout petit modèles, et je l'ai aussi testé sur mon macbook M1 pro, où là j'ai pu faire tourner des plus gros modèle, d'ailleurs j'ai pu aussi interfacer l'API de mon ollama local sur mon n8n pour des flux un peu personnalisé :) merci encore pour cette vidéo :)
Merci pour l'info. Savez-vous si on peut entraîner un ou plusieurs modèles avec des fichiers en local et l'interroger par rapport à ces fichiers ? Merci par avance
Sur ce type de projet l'intérêt est justement que si la ressource GPU est disponible, elle sera utilisée automatiquement, ce qui rend les choses très simple à configurer. Si un jour je tombe sur une image nécessitant de définir l'accès aux ressources, là oui, mais dans le cadre de cette vidéo j'ai montré ce qu'il faut faire pour activer une carte nVidia.
J'en ai parlé dans une vidéo dédiée aux mises à jour de conteneur docker, ca se fait relativement simplement via pull/up, ou avec l'interface graphique de Portainer.
Pour ton NUC, est-ce que tu es capable d'utiliser le iGPU intégré dans ce use case ? Est-ce qu'il y'a déjà un intérêt pour utiliser un iGPU ou pas ? Je pense qu'un iGPU utilise la mémoire partagée du NUC non ?
@@GuiPoM pardon j'ai mal formulé ma question, je voulais juste savoir s'il existe un moyen de tirer profit d'un iGPU pour du LLM opensource, je présume que non..
[RESOLU] Merci aussi. Je pose une question à la communauté au cas ou quelqu'un à été confronté au même problème que moi. Le GPU (nvidia4060 en l'occurrence) n'est pas du tout détecté par le docker ollama. j'ai installé le système sur un Win 11 avec Docker Desktop. Tout fonctionne , j'ai mis openwebui, accès par reverse proxy, avec tout plein de models qui fonctionnent, mais sur le CPU. J'ai tellement galéré et besoin de résoudre le problème que j'apporterai la réponse si personne me la donne. ca pourra peut être aider. Habituellement je fais tout sur mon Nas qui existe un peu Grace à toi , mais cette fois ci les performances réclamées nécessitaient que j'installe sur une autre machine, c'est pour cela Win11.
Intéressant, je m'étais justement gardé sous le coude une autre video qui parlait de ollama : ua-cam.com/video/IJYC6zf86lU/v-deo.html avec en UI:, AnythingLLM qui permet d'intégrer ses propres documents. J'avais déjà testé privateGPT en local sur un linux avec GPU nvidia (en installant les drivers cuda) et ça fonctionnait plutôt bien. Pour la partie domotique, sous Home Assistant, il y a un plugin qui existe a brancher sur un GPT local (ou chatGPT) : ua-cam.com/video/pAKqKTkx5X4/v-deo.html j'ai pas encore testé , ça demande de faire son propre matériel pour la reconnaissance vocal. En tout cas le futur est prometteur, nos assistants vont enfin comprendre des vrais phrases.
Salut Christian ! Je me permet de rebondir sur ce que tu dis car je suis actuellement entrain de tester ollama + anythingLLM. As-tu fait d'autres choses depuis ? Dans l'entrainement d'IA surtout je veux dire. Car le but pour moi c'est de trouver une IA open source, de pouvoir lui donner une doc, et via une API d'y accéder et de poser des questions.. :) Merci !
Vidéo trés intéressante! Franchement j'attends le Jeudi avec impatience, merci pour cette découverte. Hâte de voir la suite concernant l'IA.
Hello merci ! j'ai enfin pus faire fonctionner dans docker a chaque fois sur d'autres tuto ca me trouvai pas le modèle dans webui
Génial !
Super, merci, je viens de le mettre en place sur mon serveur, j'ai pu faire tourner des tout petit modèles, et je l'ai aussi testé sur mon macbook M1 pro, où là j'ai pu faire tourner des plus gros modèle, d'ailleurs j'ai pu aussi interfacer l'API de mon ollama local sur mon n8n pour des flux un peu personnalisé :) merci encore pour cette vidéo :)
Merci pour l'info.
Savez-vous si on peut entraîner un ou plusieurs modèles avec des fichiers en local et l'interroger par rapport à ces fichiers ?
Merci par avance
comment avoir une version non censuré des modèles ??
Quand la variante existe, il suffit de prendre uncensored.
Sinon il faut faire l'installation du modèle à la main
J'utilise un vieux pc qui ne vaut pas grand chose et je parvient a faire tourner Mistral 7B en local 🤣
Dommage que tu parles pas de la génération d'image
merci pour cette video. Cela donne envie de tester. Et waow la response sur la question! Chacun sait que la réponse a cette grande question est "42".
Merci ! C'est génial ! Je m'en vais mettre à genoux mon vieux core i7 '^^
et pour un deploiement en production autre que local ?
Salut, encore une super vidéo =) ce serait top que tu fasses une vidéo supplémentaire sur le sujet pour expliquer comment utiliser un GPU en détail =D
Sur ce type de projet l'intérêt est justement que si la ressource GPU est disponible, elle sera utilisée automatiquement, ce qui rend les choses très simple à configurer.
Si un jour je tombe sur une image nécessitant de définir l'accès aux ressources, là oui, mais dans le cadre de cette vidéo j'ai montré ce qu'il faut faire pour activer une carte nVidia.
Merci pour ce partage ! Petite question de débutant comment faire si tu veux update la version de Open WebUI ?, merci.
J'en ai parlé dans une vidéo dédiée aux mises à jour de conteneur docker, ca se fait relativement simplement via pull/up, ou avec l'interface graphique de Portainer.
@@GuiPoM merci je vais aller regarder ta vidéo !
Open-WebUI je penses que pour le nom ils ont juste voulu dire que c'est une copie de l'UI de OpenAI
Possible !
Pour ton NUC, est-ce que tu es capable d'utiliser le iGPU intégré dans ce use case ? Est-ce qu'il y'a déjà un intérêt pour utiliser un iGPU ou pas ? Je pense qu'un iGPU utilise la mémoire partagée du NUC non ?
le iGPU intel n'est pas un accélérateur CUDA. On ne parle pas de vidéo dans ce type de situation. Donc ... non !
@@GuiPoM pardon j'ai mal formulé ma question, je voulais juste savoir s'il existe un moyen de tirer profit d'un iGPU pour du LLM opensource, je présume que non..
Merci pour cette vidéo, sympa de découvrir un peu plus le potentiel de docker avec toi.
+1 pour la vidéo de la gestion des réseaux
Peut etre un jour ! 🤞
Le cas d'usage 1 est exactement ce que j'attends depuis des années et éviter de partager mes données avec Open Ai
👍
comment il va faire Guillaume dans le noir.
J'avais vu ton commentaire mais je ne l'avais pas compris. Après l'avoir relu, j'ai toujours pas compris 😁
Merci pour tes videos !! beau travail !!!
Avec plaisir 😊
c'est trop stylé vraiment ! :D
Merci!
Merci. Je vais essayer.
Bonne chance