J'épingle le commentaire car la question est revenue souvent. C'est fait en machine virtuelle (je n'ai pas de VM dédiée). Même CPU que l'hyperviseur (Proxmox), c'est à dire un Intel(R) Core(TM) i5-8259U CPU @ 2.30GHz (sur un intel NUC) A noter qu'il n'y a pas de GPU donc, et que d'autres machines virtuelles tournent sur l'hyperviseur.
débutant dans les AI et comme elle est open source et testable en local je me suis dis qu'il fallait que je la teste. Donc même démarche : Installation de Ollama puis des modèles. je me suis dit qu'il était prudent de commencer par le plus petit 1.5b. J'ai commencé par une requete complexe (faire 20 phrases avec lequel, laquelle, duquel, lesquelles, etc) résultat mitigé. Alors allons-y gaiement pour le modèle 70b et là, la cata ! même si le modèle tient dans la RAM (32G + 32 de swap), il n’arrête pas de swapper et j'ai eu pitié de mon nvme jai fait des ^d et ^c pour reprendre la main. donc retour sur le modèle 32b qui consomme 19giga de ram et qui tient complètement dans mes 32giga. résultat beaucoup plus pertinent que le 1.5b. J'ai appris qu'il fallait avoir BEAUCOUP de ram et une machine puissante. Je suis sur Linux LMDE6 avec un processeur Intel(R) Core(TM) i5-10400F CPU @ 2.90GHz 32 G de Ram et une carte graphique NVIDIA GeForce GTX 1050 Ti (VRAM = 4Gigas). Les cœurs CPU et GPU tournent a plein pendant le traitement des requêtes. et les réponses sont un peu lentes mais ca fonctionne !! Voila mon retour d'expérience ! Les vidéos d'Adrien sont toujours aussi bonnes ! Merci Adrien !
Oui, il faut beaucoup de RAM. Dès que tu vas swapper, ce n'est pas bon du tout pour les performances (que ce soit ZRAM ou sur NVME) Il faut trouver le bon modèle selon les spécifications de la machine. En tout cas, merci pour ce retour !
Ah zut j'ai installé hier et j'avais oublié ta vidéo sur open web ui. Perso j'ai installé la version R1 14b et j'ai surtout passé du temps à suivre ses raisonnements avant sa réponse, très intéressant. A essayer : copier son raisonnement et le fournir à mistral ou llama (par exemple) pour comparer leurs réponses d'abord sans puis avec.
Oui, je ne suis pas parti ici sur le "deepseek" pour voir le résultat direct (comme les autres que j'ai présentés). Cependant; d'un point de vue "étude" deep-think est très intéressant !
Intéressant parcontre tu nous montre htop et les 16go mais cela n'indique pas combien nécessite de vram sur carte graphique. Quels sont les prérequis CV sur ce modèle ?
apparement le model passe do 8.9 gig a 11 ( peut etre a cause de la couche d'information que Olama ajoute), tu peut donc assumer que ce model vas avoir besoin de au moins 11Gb de VRAM. mais la regle principal est taille du model = taille de VRAM.
La VM peut utiliser tout ou partie de la VRAM de la machine hôte donc je ne comprends pas quand on dit "pas de GPU"... Quel est le pré requis minimum en Ram, cpu et ram GPU?
Tu peux choisir le modèle que tu veux. Il y en a plein qui sont à disposition par Deepseek. Le "R1" est intéressant pour avoir la partie "réflexion" et comprendre comment le modèle fonctionne. Je suis parti sur le v2 pour rester dans le même résultat produit par rapport à Gemma et Llama qu'on a vu en vidéo.
Merci Adrien pour cette vidéo , c’est sympa de faire du LLM , ça change . Ça serait sympa de faire un petit tour d’horizon des différents modèles (granite,lama, mistral et deepseek) et montrer comment deepseek est plus performant ou moins gourmand en ressources. Idem que d’autres commentaires , quelle est la config utilisée (avec ou sans gpu) ? Merci à toi et bonne journée
Merci pour la video. Pour avoir des résultats a jour est-ce qu'il faut avoir la gros version V3 ou il faut absolument être en ligne? La raison est quand je pose des questions avec des réponses récentes, il me réponde de vieille réponse, je lui ai demandé en quel année nous étions et il m'a répondu 2023!
@@AdrienLinuxtricks Doit on comprendre qu'il faudrait mettre à jour manuellement la base tous les deux mois par exemple ? A moins qu'un spécialiste linux nous invente le "truc" qui met à jour la base automatiquement ... Mais qui ;-) Merci en tout cas pour cette excellente vidéo une fois de plus.
Deepseek Deepin il n'y aurait pas un lien 🤔? Je me souviens de que dans la vidéo de présentation de de Deepin que tu as faite tu disais qu'il y a une IA chinoise intégré.
Bonjour Adrien et merci Tester Deepseek récemment, intéressant de voir le déroulement de sa "réflexion", cela peut aider dans la rédaction du prompt (deepseek-r1). Une question je je me pose, le but d'un ce ces algo c'est "d'apprendre" comment ca marche en local ? Je m'explique, si je lui donne la correction d'une mauvaise réponse, l'algo (par ex llama2) "retient" ma correction en local, mais quand est t'il des algo en ligne ? (si je suis co sur le net bien sur) les autres algo sont mis au parfum ou juste l'algo local ? Et si je re télécharge un llama2 paf tout mon apprentissage est perdu ? tient une autre question a poser a ces petits algos huhu
Le "R1" est intéressant en effet pour avoir la partie "réflexion" et comprendre comment le modèle fonctionne. Je suis parti sur le v2 ici pour rester dans le même résultat produit par rapport à Gemma et Llama qu'on a vu en vidéo. Pour l'apprentissage, je pense que seul l'algo local mémorise ta correction. T'es sûr que l'apprentissage reste mémorisé si tu met à jour le modèle par la suite ? (avec un ollama pull) ?
@@AdrienLinuxtricks Non justement pas sur ;o)) je lui est poser des questions (Deepspeek-r1) pour savoir comment l'ia mémorise pfff pire qu'un homme politique incroyable ca répond toujours pour que tu te souvienne plus de la question que tu as poser ;o)) d'après ce que j'ai compris rien n'est mémoriser c'est juste sont algo qui est modifier pour s'adapter à moi. sinon j'ai fait des test de mémoire : je pose une question d'actualité je corrige la réponse, déco, reco, bin ca mémorise rien. j'ai l'impression que le models locaux tourne en rond.
Tu peux choisir le modèle que tu veux. Il y en a plein qui sont à disposition. Le "R1" est intéressant pour avoir la partie "réflexion" et comprendre comment le modèle fonctionne. Je suis parti sur le v2 pour rester dans le même résultat produit par rapport à Gemma et Llama qu'on a vu en vidéo.
En local je crois qu’il ne récupère pas les données, je dis bien en local l’inverse toute les données sont remontées à le république populaire de Chine
@@raftech-uz8el Mmmh, et ça ne stocke rien pour le renvoyer un peu plus tard ? Par exemple. Et en local, je veux bien, mais ça n'utilise rien ailleurs, des bases de données par exemple ? Cela dit je n'utilise pas ce genre de truc, je n'ai pas de dissertation à faire.
Tu peux faire tourner un tcpdump ou analyser avec Wireshark. Testé sur un système minimaliste (Gentoo) le modèle ne renvoie rien (le 1.5b du R1) pas de traffic sortant sur 1 semaine.
@@AdrienLinuxtricks J'imagine que disposant des sources nombreux sont ceux qui sont parti à la recherche des lignes qui auraient envoyé les données à la chine histoire de le discrédité ...
@@raftech-uz8el Sans vouloir faire de politique, les pays qui nous espionne sans doute le plus aujourd'hui est sans nul doute les USA ... Entre la NSA et GAFAM ...
Attention avec le fait de dire que Deepseek est open-source. A la limite open weight, mais juste pouvoir accéder au modèle en local, ça vaut à peu près la même chose que d'avoir un logiciel compilé sur notre machine au lieu d'avoir un SaaS. En tout cas, bonne chose de pouvoir la télécharger en local, à voir ce que ça vaut par rapport aux existantes, si j'ai la foi de l'essayer.
Attention Ollama crash systématiquement le système sur Solus. J'ai dû refaire mon PC. J'ai ensuite fait des tests en VM. Ollama des que lancé Solus freeze. Et impossible de le rebooter.
Oui à 100%, je n'ai jamais ce soucis sur d'autres distributions. J'ai envoyé un message à la team Solus pour l'en informer. Mais l'info peut être utile pour certains de tes abonnés. Même si Solus reste, je le conçois, peu utilisé.
C'est le but de la série de vidéo, c'est de montrer qu'on peut dédier une machine à cet usage ! Cela rend facile d'utilisation et c'est multi-utilisateur
Bonjour la commu. Je vous invite à tester Deepseek sur des sujets que vous maîtrisez. Perso, je suis assez déçu sur la plongée sous-marine. Et également sur des sujets "sensibles", comme la place Tian'anmen ou factuels comme les présidents chinois entre 1945 et 1950.....
Merci pour le test !
Est-il possible d'avoir les caractéristiques CPU voire GPU ?
Tout est fait en Virtualisation, ou sur une machine test ?
J'épingle le commentaire car la question est revenue souvent.
C'est fait en machine virtuelle (je n'ai pas de VM dédiée). Même CPU que l'hyperviseur (Proxmox), c'est à dire un Intel(R) Core(TM) i5-8259U CPU @ 2.30GHz (sur un intel NUC)
A noter qu'il n'y a pas de GPU donc, et que d'autres machines virtuelles tournent sur l'hyperviseur.
Merci pour le partage je vais tester😆😆😆
Merci pour vidéo très instructive
Avec plaisir :)
Si je dois prendre une IA ,le choix est dors et déjà fait grâce à cette vidéo.
Merci Adrien pour cette démo de Deeseek.
Avec plaisir 🙂
débutant dans les AI et comme elle est open source et testable en local je me suis dis qu'il fallait que je la teste. Donc même démarche :
Installation de Ollama puis des modèles.
je me suis dit qu'il était prudent de commencer par le plus petit 1.5b. J'ai commencé par une requete complexe (faire 20 phrases avec lequel, laquelle, duquel, lesquelles, etc) résultat mitigé.
Alors allons-y gaiement pour le modèle 70b et là, la cata ! même si le modèle tient dans la RAM (32G + 32 de swap), il n’arrête pas de swapper et j'ai eu pitié de mon nvme jai fait des ^d et ^c pour reprendre la main.
donc retour sur le modèle 32b qui consomme 19giga de ram et qui tient complètement dans mes 32giga. résultat beaucoup plus pertinent que le 1.5b.
J'ai appris qu'il fallait avoir BEAUCOUP de ram et une machine puissante.
Je suis sur Linux LMDE6 avec un processeur Intel(R) Core(TM) i5-10400F CPU @ 2.90GHz 32 G de Ram et une carte graphique NVIDIA GeForce GTX 1050 Ti (VRAM = 4Gigas).
Les cœurs CPU et GPU tournent a plein pendant le traitement des requêtes.
et les réponses sont un peu lentes mais ca fonctionne !!
Voila mon retour d'expérience !
Les vidéos d'Adrien sont toujours aussi bonnes !
Merci Adrien !
Oui, il faut beaucoup de RAM.
Dès que tu vas swapper, ce n'est pas bon du tout pour les performances (que ce soit ZRAM ou sur NVME)
Il faut trouver le bon modèle selon les spécifications de la machine.
En tout cas, merci pour ce retour !
Merci pour cette vidéo. Je n'ai pas vraiment les machines pour faire tourner tout ça mais ça peut être cool.
Merci beaucoup Adrien pour ce partage. 👍
Avec plaisir
Encore une excelente vidéo 👍
Merci !
Intéressant, merci.
Merci à vous
Merci pour le partage je vais tester 😊
:)
Merci de ton partage de tes connaissances, c'est aussi cela du 100% open source
Merci à toi
Ah zut j'ai installé hier et j'avais oublié ta vidéo sur open web ui. Perso j'ai installé la version R1 14b et j'ai surtout passé du temps à suivre ses raisonnements avant sa réponse, très intéressant. A essayer : copier son raisonnement et le fournir à mistral ou llama (par exemple) pour comparer leurs réponses d'abord sans puis avec.
Suivre son raisonnement ressemble à regarder un collègue névrosé parlant tout seul avant un entretien crucial. 😁
Oui, je ne suis pas parti ici sur le "deepseek" pour voir le résultat direct (comme les autres que j'ai présentés).
Cependant; d'un point de vue "étude" deep-think est très intéressant !
Merci 😊
Avec plaisir 😊
Intéressant parcontre tu nous montre htop et les 16go mais cela n'indique pas combien nécessite de vram sur carte graphique. Quels sont les prérequis CV sur ce modèle ?
apparement le model passe do 8.9 gig a 11 ( peut etre a cause de la couche d'information que Olama ajoute), tu peut donc assumer que ce model vas avoir besoin de au moins 11Gb de VRAM. mais la regle principal est taille du model = taille de VRAM.
Ici, pas de "GPU" uniquement du CPU car c'est dans une VM.
@@AdrienLinuxtricks merci pour le retour.
La VM peut utiliser tout ou partie de la VRAM de la machine hôte donc je ne comprends pas quand on dit "pas de GPU"... Quel est le pré requis minimum en Ram, cpu et ram GPU?
Super video, merci!!
Mais pourquoi ne pas avoir utilisé Deepseek R1???
J'allais poser la même question.
La version Distill-Qwen-14B à l'air top. Je vais me tester ça 😎
En tout cas, merci pour la vidéo !
Tu peux choisir le modèle que tu veux. Il y en a plein qui sont à disposition par Deepseek.
Le "R1" est intéressant pour avoir la partie "réflexion" et comprendre comment le modèle fonctionne.
Je suis parti sur le v2 pour rester dans le même résultat produit par rapport à Gemma et Llama qu'on a vu en vidéo.
Merci
De rien :)
Merci Adrien pour cette vidéo , c’est sympa de faire du LLM , ça change .
Ça serait sympa de faire un petit tour d’horizon des différents modèles (granite,lama, mistral et deepseek) et montrer comment deepseek est plus performant ou moins gourmand en ressources.
Idem que d’autres commentaires , quelle est la config utilisée (avec ou sans gpu) ?
Merci à toi et bonne journée
Ici, que CPU, car je suis dans une machine virtuelle pour les vidéos (pas de machine physique dédiée)
👍👍👍👍👍
👍
Merci pour la video. Pour avoir des résultats a jour est-ce qu'il faut avoir la gros version V3 ou il faut absolument être en ligne? La raison est quand je pose des questions avec des réponses récentes, il me réponde de vieille réponse, je lui ai demandé en quel année nous étions et il m'a répondu 2023!
En effet, quand tu récupères le modèle, il est déconnecté, donc il a des "informations" jusqu'au moment ou le modèle a été généré.
@@AdrienLinuxtricks Doit on comprendre qu'il faudrait mettre à jour manuellement la base tous les deux mois par exemple ? A moins qu'un spécialiste linux nous invente le "truc" qui met à jour la base automatiquement ... Mais qui ;-) Merci en tout cas pour cette excellente vidéo une fois de plus.
est il possible de mettre à contribution le gpu pour plus de rapidité ou pour faire tourner un modèle avec plus de paramètres ?
Oui tu peux en installant les modules Ollama ROcM (AMD) ou en activat CUDA (NVidia)
Deepseek Deepin il n'y aurait pas un lien 🤔? Je me souviens de que dans la vidéo de présentation de de Deepin que tu as faite tu disais qu'il y a une IA chinoise intégré.
Je ne sais pas si c'est deepseek en effet. Il faudrait regarder de nouveau
Tu utilises quel distribution Linux
Fedora Linux sur le PC et sur la machine qui propulse le LLM
Bonjour Adrien et merci
Tester Deepseek récemment, intéressant de voir le déroulement de sa "réflexion", cela peut aider dans la rédaction du prompt (deepseek-r1).
Une question je je me pose, le but d'un ce ces algo c'est "d'apprendre" comment ca marche en local ?
Je m'explique, si je lui donne la correction d'une mauvaise réponse, l'algo (par ex llama2) "retient" ma correction en local, mais quand est t'il des algo en ligne ? (si je suis co sur le net bien sur) les autres algo sont mis au parfum ou juste l'algo local ?
Et si je re télécharge un llama2 paf tout mon apprentissage est perdu ?
tient une autre question a poser a ces petits algos huhu
Self learning😅
Le "R1" est intéressant en effet pour avoir la partie "réflexion" et comprendre comment le modèle fonctionne. Je suis parti sur le v2 ici pour rester dans le même résultat produit par rapport à Gemma et Llama qu'on a vu en vidéo.
Pour l'apprentissage, je pense que seul l'algo local mémorise ta correction.
T'es sûr que l'apprentissage reste mémorisé si tu met à jour le modèle par la suite ? (avec un ollama pull) ?
@@AdrienLinuxtricks Non justement pas sur ;o))
je lui est poser des questions (Deepspeek-r1) pour savoir comment l'ia mémorise pfff pire qu'un homme politique incroyable ca répond toujours pour que tu te souvienne plus de la question que tu as poser ;o)) d'après ce que j'ai compris rien n'est mémoriser c'est juste sont algo qui est modifier pour s'adapter à moi.
sinon j'ai fait des test de mémoire : je pose une question d'actualité je corrige la réponse, déco, reco, bin ca mémorise rien.
j'ai l'impression que le models locaux tourne en rond.
@@laurentmeus6981Oui, ton modèle n'apprend rien du tout. Ils lui ont appris avant, et il recrache tout ça.
Pourquoi utiliser le v2 alors que le r1 est vraiment celui qui en plus de faire l'actualité est bien plus performant ?
Tu peux choisir le modèle que tu veux. Il y en a plein qui sont à disposition.
Le "R1" est intéressant pour avoir la partie "réflexion" et comprendre comment le modèle fonctionne.
Je suis parti sur le v2 pour rester dans le même résultat produit par rapport à Gemma et Llama qu'on a vu en vidéo.
Hello super, mais tu utilise un gpu ou uniquement en CPU ?
Ici, que CPU car je suis dans une machine virtuelle. (je n'ai pas de matériel dédié)
Ça marche sans avx?
Aucne idée. A tester
Effectivement il a même corrigé la faute de majuscule au nom du pays. 🤩👍
Les niaiseries qui rappelle Élisa sur CP\M et qui veulent se faire installer sans explication, on en a peut-être pas besoin ? ;)
pas récupéré par les Chinois ? J'aimerai en être sur...
En local je crois qu’il ne récupère pas les données, je dis bien en local l’inverse toute les données sont remontées à le république populaire de Chine
@@raftech-uz8el Mmmh, et ça ne stocke rien pour le renvoyer un peu plus tard ? Par exemple. Et en local, je veux bien, mais ça n'utilise rien ailleurs, des bases de données par exemple ? Cela dit je n'utilise pas ce genre de truc, je n'ai pas de dissertation à faire.
Tu peux faire tourner un tcpdump ou analyser avec Wireshark.
Testé sur un système minimaliste (Gentoo) le modèle ne renvoie rien (le 1.5b du R1) pas de traffic sortant sur 1 semaine.
@@AdrienLinuxtricks J'imagine que disposant des sources nombreux sont ceux qui sont parti à la recherche des lignes qui auraient envoyé les données à la chine histoire de le discrédité ...
@@raftech-uz8el Sans vouloir faire de politique, les pays qui nous espionne sans doute le plus aujourd'hui est sans nul doute les USA ... Entre la NSA et GAFAM ...
J'ai forcement besoins d'une carte graphique dediee ?
Non pas forcément, un bon CPU et 8 ram c’est suffisant, mais tout dépend des modèles que tu veux lancer
Tu peu faire tourner sur CPU si tu as la RAM, mais c'est beaucoup plus lent
avec un vieux xeon E5-2670 v3, les performances sont surprenamment très correctes
UA-cam double la vidéo en anglais chez moi :( quelqu'un sait comment supprimer le doublage automatique sur Android ?
Attention avec le fait de dire que Deepseek est open-source. A la limite open weight, mais juste pouvoir accéder au modèle en local, ça vaut à peu près la même chose que d'avoir un logiciel compilé sur notre machine au lieu d'avoir un SaaS.
En tout cas, bonne chose de pouvoir la télécharger en local, à voir ce que ça vaut par rapport aux existantes, si j'ai la foi de l'essayer.
Rien n'indique pas que le modèle compilé envoie de la télémétrie... Surtout venant des chinois 😅
J'aurais du dire plutôt "Libre accès" en effet. Je me suis un peu emballé
@@AdrienLinuxtricks "🎉 DeepSeek-R1 is now live and open source, rivaling OpenAI's Model o1. Available on web, app, and API. Click for details."
Attention Ollama crash systématiquement le système sur Solus. J'ai dû refaire mon PC. J'ai ensuite fait des tests en VM. Ollama des que lancé Solus freeze. Et impossible de le rebooter.
Le problème semble Solus...
Oui à 100%, je n'ai jamais ce soucis sur d'autres distributions. J'ai envoyé un message à la team Solus pour l'en informer. Mais l'info peut être utile pour certains de tes abonnés. Même si Solus reste, je le conçois, peu utilisé.
on va pouvoir jouer aux apprentis sorciers ^^, thx
Avec plaisir 😁
super et avec l'interface web c'est fabuleux ça donne limite envie de dédié une UC rien que pour avoir ça sous la main en local
C'est le but de la série de vidéo, c'est de montrer qu'on peut dédier une machine à cet usage !
Cela rend facile d'utilisation et c'est multi-utilisateur
Local ou pas si c’est chinois faut se méfier ! Des chercheurs ont trouver des malwares ds la version r1….(et il y aurait du plagiat aussi)
J'ai testé deepsink R1 avec lm studio. le modèle Qwen 2.5, chinois lui aussi, est encore meilleur (et notamment en français)
Merci du retour !
Bonjour la commu. Je vous invite à tester Deepseek sur des sujets que vous maîtrisez. Perso, je suis assez déçu sur la plongée sous-marine. Et également sur des sujets "sensibles", comme la place Tian'anmen ou factuels comme les présidents chinois entre 1945 et 1950.....
Il faut voir ce que donne la version complète.
Plus on prend une version légère (en nombre de paramètres), pkus c'est évidemment imprécis.
power adrien
Merci ^^