Jul.... Le blanc africanisé. Sous le niveau de la mer. Impossible de faire de l'ia avec l'inverse de l'intelligence. Désolé pour le micro AVC j'ai vu ton clavier LGBT conforme à la propagande mondialiste. Je ne jugerai pas.
On a encore beauuuucoup de chose a apprendre sur l’IA, c’est que le debut je pence, Je serais curieux de voir le résultat de faire comuniquer une ia, avec une ia 😊
Travail exceptionnel, merci pour ces explications et bravo pour le travail. En plus d'être informatif, le contenu est très agréable à suivre. Heureux de découvrir cette chaîne aujourd'hui.
Salut Cocadmin, j'ai découvert ta chaîne ces jours ci et j'adore !! Tu as exactement ce qui manque à Chatgpt pour prétendre à l'intelligence, comme la perception du contexte, la vision haute, l'intuition et la mémoire du fil de conversation. J'en ai d'ailleurs "parlé" avec lui et nous sommes tombés d'accord. En fait pour prendre une analogie, chatgpt, c'est un peu comme un maçon, il sait assembler des blocs très bien, mais construire une maison, il en est incapable car il n'a pas idée du contexte, il ne comprend pas l'objectif ni l'usage attendu. Bref, il a conscience de ses propres limites, ce qui est déjà bluffant. On pourrait dire qu'il ressemble à ce qu'on attend des employés d'une entreprise : faire plutôt que comprendre, ce qui amène souvent à faire n'importe quoi... Néanmoins, la perte de conscience progressive des humains occidentaux devrait permettre bientôt à chatgpt de faire aussi mal qu'un humain occidental 🤔
Excellente vidéo ! Je travaille actuellement sur les transformers, mais spécifiquement dans le domaine de la classification d'images pour mon mémoire et je tiens à souligner la qualité exceptionnelle de vos explications.
Je tombe par hasard sur votre vidéo... et quelle bonne surprise, sûrement la meilleure à ce jour en termes d'explications. Maintenant on peut commencer à argumenter pourquoi il va être compliqué d'avoir des modèles de langage qui développent comme des experts. Si on veut un modèle de langage qui soit plus performant par un facteur X (notion de performance restant à définir), quel est le facteur Y sur le besoin en infrastructure? Quel est le facteur Z pour la taille des données d'apprentissage ? Je ne dis pas que ce n'est pas possible d'avoir des IA globales ou meilleures que le meilleur des experts humains. Mais quelle est la relation entre X, Y, et Z ? Logarithmique ? Linéaire ? Quadratique ? Exponentielle ? Si il faut multiplier par 10 la taille des infrastructures pour augmenter d'un facteur 2 la puissance d'un modèle de langage, on voit vite qu'il y a un problème. De même pour les données d'apprentissage.
Au sujet du grand remplacement: dans mon entreprise tous les outils se basant sur les outils deep learning & co sont bannis pour des raisons de confidentialité et de propriété intellectuelle. Pour faire mon dinosaure: il y a des années de ca les premiers IDE devaient remplacer les devs experts pour que des devs juniors puissent avoir la meme productivité. Puis les méthodes de conception merise, uml & co devaient elles aussi se débarrasser des devs pour se focaliser sur le design puis faire de la génération de code automatique. Puis les languages à base de machines virtuelles devaient permettre de faciliter le développement en ne demandant plus aux devs de savoir comment marche la mémoire ou le cpu. Puis les nouveaux IDE ont automatisés pas mal de choses (cf. Intelij qui s'occupe d'un peu tout) tout en améliorant l'existant (complétion contextuelle, refactoring, ...). Bref les devs sont toujours là (et le niveau des juniors est clairement plus faible qu'il y a 10 ans la faute à des programmes d'études ultra chargés: tout voir mais ne rien vraiment connaître) mais clairement l'IA dans les prochaines années va automatiser pas mal de choses et tout ceux qui ont actuellement un poste sans connaissances ultra technique et/ou fonctionnelles/métier vont subir le changement. De temps en temps je regarde une image en noir et blanc qui date de l'éclatement de la bulle internet "will code for html for food". Dans les années 90 toutes les grandes boites internet de la Silicon Valley (Yahoo, ...) utilisaient des armées de dev html... qui ne connaissaient pas grand chose d'autres. Quand les plateformes sont passés à du code généré (jsp, php, ...) ils ont virés ces milliers de personnes du jour au lendemain. A méditer...
Merci d'avoir partagé ton experience, très intéressant :) Je ne pense pas que les dev vont être remplacer tout de suite mais a moyen terme je pense que le métier va énormément évoluer.
@@cocadmin En fait le problème principal de l'intelligence artificielle va se poser là : Pour pouvoir créer un outil de A - Z avec une IA, il va falloir lui décrire à l'exactitude tous les micro-fonctionnalités de l'application pour que ça ait du sens, car n'importe quelle ambiguïté laissera champ libre à l'IA à l'imaginer comme bon lui semble, et décrire à l'exactitude toutes les micro-fonctionnalités ça a un nom : "Programmer". L'IA ne remplacera jamais des développeurs peu importe le niveau qu'elle atteint, car il faudra toujours pouvoir lui décrire techniquement comment ça doit fonctionner, et même si on atteint des niveaux délirants, il faudra toujours avoir des connaissances de comment ça fonctionne derrière pour pouvoir éviter des pièges évident et autres. Après peut-être que le futur transformera le code en simple prompts en langage naturel, mais il sera toujours long et laborieux de créer des logiciels, même si ça sera sûrement grandement facilité par l'intelligence artificielle.
A mon avis la question à se poser est la suivante: si on veut un modèle de langage qui soit plus performant par un facteur X (notion de performance restant à définir), quel est le facteur Y sur le besoin en infrastructure? Quel est le facteur Z pour la taille des données d'apprentissage ? Plus précisément, quelle est la relation entre X et (Y, Z) ? Logarithmique ? Linéaire ? Quadratique ? Exponentielle ? Si il faut multiplier par 10 la taille des infrastructures pour augmenter d'un facteur 2 la puissance d'un modèle de langage, on voit vite qu'il y a un problème. De même pour les données d'apprentissage. Le plafond sur lequel l'IA basée sur les modèles de langages va se taper la tête pourrait très bien venir de là.
Très bonne vidéo de vulgarisation sur le sujet, avec une présentation et un montage bien soignés. J’aime beaucoup ton approche. Quelques petites précisions/ remarques : - 124 millions de paramètres c’est pour la version small de GPT-2. Quand on le mentionne sans préciser on parle plutôt de celui a 1,5 milliards. - Pour les paramètres de GPT-4, je ferais preuve de prudence au moment de parler chiffres. Même si les sources peuvent paraître crédibles, OpenAI a déjà menti par le passé et on sait pas s’ils utilisent tous les supposés modèles en même temps etc. - GPT 3/3.5 peuvent avoir jusqu’à 4096 tokens dans leur fenêtre de contexte, et pas 2000. Même si lorsqu’on utilise la web app il y a déjà une partie utilisée par OpenAI avec leur prompt.
J'ai appris beaucoup vraiment top cette video, une petite demos de ce qu'est le fine-tuning et les models LLM en open source sur huggingface serait fort instructif en tout cas merci pour cette video passionnante et de qualité
tu es un des rares youtubeurs que je mets en pause pour digérer lol super synthèse , illustrée surtout car sinon trop de blabla .. mais ici c'est super blabla de qualité :) tu es meilleur que IA .. pour l'instant nouveau abonné gagné tu as longue vie chaîne youtube tu auras avec toi la Force sera texte authentique certifié non IA ( des formats concentré de moins de 15min c'est super , great great job ! )
Avec Kubernetes, l'autoscaling peut être géré en utilisant la fonctionnalité intégrée d'autoscaling horizontal (Horizontal Pod Autoscaler, HPA). L'HPA permet à Kubernetes d'ajuster automatiquement le nombre de répliques de pods (instances) en fonction de la charge de travail du cluster. Cela permet d'assurer que les applications sont toujours correctement dimensionnées pour faire face aux fluctuations de la demande. Par exemple, si tu gères l'autoscaling avec Kubernetes en utilisant l'Horizontal Pod Autoscaler, voici comment procéder : Tout d'abord, tu dois spécifier les métriques en fonction desquelles Kubernetes doit effectuer l'autoscaling. Il peut s'agir de métriques telles que l'utilisation du CPU, l'utilisation de la mémoire, ou des métriques personnalisées que tu as définies. Ces métriques seront utilisées pour évaluer la charge de travail du cluster. Tu dois spécifier les seuils de déclenchement pour l'autoscaling. Par exemple, tu peux définir un seuil d'utilisation du CPU de 70 %. Lorsque l'utilisation du CPU dépasse ce seuil, Kubernetes déclenchera l'autoscaling pour ajouter de nouvelles répliques de pods. Une fois que tu as configuré les métriques et les seuils, Tu peux créer un objet HPA dans Kubernetes en spécifiant les détails de l'autoscaling, tels que le nombre minimal et maximal de répliques de pods que tu souhaites. Une fois que l'HPA est en place, Kubernetes surveille en permanence les métriques spécifiées pour évaluer la charge de travail. Si les seuils sont atteints ou dépassés, Kubernetes ajustera automatiquement le nombre de répliques de pods en conséquence. L'utilisation de l'Horizontal Pod Autoscaler dans Kubernetes facilite grandement la gestion de l'autoscaling, car il s'occupe automatiquement d'ajuster le nombre de répliques de pods en fonction de la charge de travail, ce qui permet de maintenir les performances et de faire des économies de ressources lorsque la demande diminue. J'espère t'avoir aidé! Ciao!
Thanks! C'est effectivement une bonne solution, est-ce que l'horizontal pod autoscaler peux gerer plusieurs type et/ou tailles d'instances ou ton cluster doit être homogène ?
@@cocadmin L'Horizontal Pod Autoscaler (HPA) dans Kubernetes peut gérer plusieurs types et/ou tailles d'instances au sein d'un cluster. Le HPA est conçu pour ajuster automatiquement le nombre de répliques de tes pods en fonction de l'utilisation des ressources, telle que l'utilisation du CPU ou de la mémoire. Il ne se soucie pas de la taille spécifique de chaque instance, mais plutôt de l'utilisation globale des ressources par les pods. Ainsi, tu peux avoir des nœuds (instances) de différentes tailles dans ton cluster, et le HPA s'adaptera en conséquence en augmentant ou en diminuant le nombre de répliques de tes pods pour répondre aux besoins de charge. Cependant, il est essentiel de garder à l'esprit que certaines apps ou charges de travail peuvent avoir des exigences spécifiques en termes de ressources ou de capacités matérielles, et cela peut influencer ta décision sur la configuration de ton cluster Kubernetes. Tu dois t'assurer que les différents types et tailles d'instances disponibles dans ton cluster peuvent satisfaire les exigences de tes apps pour une mise à l'échelle efficace. PS; Y a pas que des gars qui te suivent comme tu peux voir, alors au début de tes vids, pense aussi à saluer les filles! LOL
Cette vidéo à le niveau de détail parfait pour une introduction technique à l'IA et aux LLM. Ça souligne les grands concepts mais ça reste concis, et ça pointe vers des resources si on veut reproduire soi-même. Merci !
Et d'avoir une sorte de super IA open source et en peer to peer, genre un peu comme les torrent, ou la blockchaine, mais en gros chaque personne telecharge une application sur son PC pour entrainer UNE SEUL MEME IA collective
@@monsieursoze4859 Tu parles detique, ben pas sur que de centraliser sois ethique car une seul et meme entiter choisis de censurer ce quil veut, alors que de mettre 0 censure, naurais pas ce probleme. Pour qui nous nous prenons pour cenuser ou pour dire que quelque chose nest pas acceptable. Les moeurs et coutume de differant pays ou civilisation sont bien differante et certaine chose que nous europeen trouvons pas etique peut letre pour certaine personne ou dans certaine coutume. Censurer par une seul et meme entiter reviens a un systeme de dictature. un systeme ouvert serais plus benefique, et rien emepeche apres davoir des multiple de systeme parallele a ce systeme avec des filtre de censure propre a chaqu'un on peut meme imaginer que certaine pays autoriserais que leurs propre version de ce systeme avec leur censure, mais le noyau doit etre 100% libre, ouvert et sans censure.
@@digelQ8 bas si, cela insignue si j'ai bien compris vos propos que celle ci ctrl + c du code et n'évolura pas ne fessant que des ctrl + c bien organiser :). Pas comme nous ou on pourrait en comprenent se qu'on ferait résoudre des problemes de p = np
@@printvoyageur4386 c'est une IA generative, elle ne fait pas que copier du code et bien l'organiser, elle crée à partir d'un modèle statistique, ce qui implique qu'elle est capable de découvrir des relations logiques qui ne sont pas directement inferable dans la base de donné. Le terme clé ici est "directement". Toute forme de création est nécessairement un patchwork de connaissances préexistantes, avec ces IA on approche d'un degré de sophistication de ce patchwork qui ressemble diablement aux capacités d'inférence humaines i.e. Comprendre les émotions d'un texte, faire des maths etc.
Masterclass la vidéo, cimer ! D’ailleurs tu fais l’erreur (volontairement ou non) de dire chat-gpt 4, chat gpt 3, etc. mais faut bien différencier le modèle, à savoir GPT dans toutes ses versions (GPT-2, GPT-3.5, etc.) de l’application d’openai qui est chatgpt, et qui est juste plus ou moins une interface avec des appels aux modèles GPT, un peu de front, etc.
il y a yahoo answere et stackoverflow il faut un peu de traitement pour extraire la réponse en quelques mots mais cette tache en linguistique on sait le faire... mais il doit y avoir d'autres site qui permet d'avoir des questions/reponses
Super merci, plein de réponses à mes questions sur les LLM, c'est cool ! dire qu'on a Pi sur le tél désormais et c'est une IA très sympatoche, presque une amie ^^ MERCI ...Abonné, trop fort et trop cool tu es..Bravo pour ton travail et ton partage👌👍
@@cocadmin Pas possible aujourd'hui ou pas possible du tout ? lol je dis sa parce que en physique quantique les matériaux peuvent changer et j'ai vue que aujourd'hui on peut stocker des données dans des molécules qui ont des propriétés quantique.
@8'13 Salut, video trees sympa! cette methode dont tu dois parler, c'est pas le Transfer Learning? Tu peux recuperer les parametres d'un modele et tu les entrainent sur tes propres donnees...
Salut, j'ai eu la même idée y'a peu de temps aussi, une chaîne qui m'a aussi beaucoup aidé à comprendre l'IA c'est Machine LearnIA, c'est en français et plutôt bien expliqué
T'as raison man, de Shakespeare à Jul ...il n'y a qu'un ..tunnel? Et .. quelques siècles ? Quelle "TroLL" de données d'entraînement semblerais je penser ..sans dépenser me diras tu? Serait ce de la sorte possible, alors..qu'afin d'aiguiser les mélodies de la starnaque de demain sur une base de pink floyd, l'on puisse a l'occasion (entre 2 shorts) , créer une musique novatrice incontournable et "bankable", sur des LLM de la musique de Brawl Stars? On se le demande...ou l'on demande a l'iA ?! LoL.. tu m'as bien fait rire, toujours intéressant, merci 👍
Je voulais savoir après avoir entraîner le modèle il faut toujours l'heberger? Ou on peut l'utiliser localement ??? Et je m'abonne continuez dans cette voie Fréro
Salut, super video, j'ai vraiment aimé. J'espère que tu feras un épisode 2 sur un autre type d'IA. D'ailleurs, ca serait possible d'avoir le Github de ton code stp
@@cocadmin serait temps d'acheter une 3070 (y en a des bonnes pour pas cher voir des ti, ou si t'as l'argent une 4070 à 600 euros) 😅. En tous cas solide
Perso.. Yann Lecun, après avoir suivis quelques conf, j'ai capté le raisonnement qu'il a eu et comment on l'applique techniquement. Sinon, je me tate aussi pour installer une petite IA, toutes faites, pompé sur Github, et essayer de développer.. .. .. une sorte d'API ou je pourrais balancer la sortie d'applis standart, pour améliorer les résultats ou augmenter le nombre de fonctions, filtres, etc .. ( J'essaie toujours de conceptualiser le "truc" ) Mais c'est clair, cette techno, ca fait vriller ..🎉😁
Une IA ne pourra jamais nous remplacer sur un projet custom, qui mélange plusieurs langages, dont le métier ignore lui même parfois ce qu’il veut et où le projet contient des 100ene voir milliers de fichiers dans des langages pas forcément typé et simple à retracer. Puis même si elle était capable de faire des choses aussi complexe il faudrait quelqu’un pour la diriger, écrire les prompts, vérifier le code, les possibles régression, les mauvaises interprétations, etc. Même avec des spécification ultra détaillée il n’est pas rare de devoir faire appel au product owner et de demander plus d’info au métier pour combler un manque d’info cruciale ou imprévue en cours de route. Bref ça fait beaucoup à maîtriser pour pouvoir nous remplacer et la liste pourrait être énormément plus longues sur des sujets tout aussi complexe et pas forcément lié à l’écriture de code pure (QA, code review, déploiements, etc.).
- Convolution: * Action de convoluter, enroulement ensemble depuis un sommet, en papillote. * (Mathématiques) Opération qui consiste en la combinaison de deux fonctions. Sinon nous avons des CIRconvolutions dans le cerveau, ce qui semble logique dans un contexte où l'on parles de logiciels utilisant des couches de neurones artificiels :) Après "voluter" et "convoluter" n'est apparemment pas la même chose, vu qu'une "volute" (de fumée par exemple, qui... VOLe) n'est pas en forme de papillote mais de spirale.
L'intérêt le plus grand de l'IA ça sera surement pour optimiser le code informatique, que cela soit en terme d'apprentissage, de vérification, et d'optimisation (propositions de solutions alternatives avec leurs avantages et inconvénients). On peut même imaginer des langages informatiques qui soient créés par de l'IA, afin d'empêcher toute faille de sécurité, rapide et économe en mémoire.
Dans tous les cas c'est la capacité à collaborer avec les IA qui fera la différence. Je ne crois pas à des métiers totalement remplacés par les IA ou des métiers qui se passent totalement des IA...
@@Ctrl_Alt_Sup Absolument. L'idéal ce n'est pas la dépendance et le remplacement de l'humain par l'IA, mais la coopération entre l'humain et l'IA (avec la capacité de l'utiliser en pilotage automatique pour certaines tâches à certains moments).
Excellente vidéo de vulgarisation. Cependant, tu ne peux pas dire que le modèle Transformer est basé que sur 300 lignes de Python. Parce que je suppose que tu fait référence à la structure basé sur du pyTorch.
moi jai créé un chatbot complet en 1 minute avec chaatgpt lui meme. je lui est demander de généré un code source python utilisan la bhibliothèque PYtorch et un module poure créé un transformer qui peut répondre a tout mes question mais c'est rudimentaire.
une des etape dont j'ai pas parlé est une étape de reinforcement learning apres le fine tunning. Ou en gros tu generes plusieurs reponses et tu demande a un humain de choisir la meilleure et tu pousser ton model a donner des meilleures reponses.
je suis dev et si l'IA sait me remplacer je m'inquiète. Non pas parce que je vais pointer à pôle emploi, mais parce que ça signifie qu'elle sera autonome et pourra alors créer une contre société et nous défoncer ! Et pour en revenir à la vidéo, beau travail ! Je vais checker tes autres vidéos
Ah bah tiens elle tombe très bien cette vidéo, j'ai vu que les deux premières minutes et je me pose exactement les mêmes questions. Je regarde la suite.
à votre avis, est ec que commencer de A à Z a apprendre l informatique et la programmation, ca en vaut encore la peine aujourd hui, sachant que ca prend du temps et que comme cocadmin l a dit au debut de la video, les intelligences artificiels pourront probablement prendre le relais plus tard ?
Très bon travail mais par contre l'utilité de 8 RTX pour un script python 🤣🤣🤣🤣🤣🤣 Il faut que tu apprennes l'existence du GIL et même sans ça tourne sur CPU (ou alors tu vas galérer à le bypasser si t'es pas dev)
D'où provient l'information que GPT-4 possède 1,7 trilliards de paramètres ? Car à ma connaissance OpenAI n'a jamais voulu divulguer cette information.
Wow merci pour cette super vidéo ! Nous pourrais nous partager ton code qui t'a permis de faire tout ça ? Même si il est cracra on s'en fou c'est juste pour apprendre
Est-ce que vous utilisez kubernertes ? Comment vous gérez l'autoscaling ?
Merci à Cast.ai : l.cocadmin.com/castai
Jul.... Le blanc africanisé. Sous le niveau de la mer. Impossible de faire de l'ia avec l'inverse de l'intelligence.
Désolé pour le micro AVC j'ai vu ton clavier LGBT conforme à la propagande mondialiste.
Je ne jugerai pas.
Ok
Merci Cast AI
On a encore beauuuucoup de chose a apprendre sur l’IA, c’est que le debut je pence,
Je serais curieux de voir le résultat de faire comuniquer une ia, avec une ia 😊
Bonsoir svp comment je peux téléchargé l'application prédictor aviator
Mec, c'est incroyable la quantité d'infos et de concepts que tu as synthétisés dans cette vidéo sans la rendre indigeste. Keep on with the good work!
Travail exceptionnel, merci pour ces explications et bravo pour le travail. En plus d'être informatif, le contenu est très agréable à suivre. Heureux de découvrir cette chaîne aujourd'hui.
Salut Cocadmin, j'ai découvert ta chaîne ces jours ci et j'adore !!
Tu as exactement ce qui manque à Chatgpt pour prétendre à l'intelligence, comme la perception du contexte, la vision haute, l'intuition et la mémoire du fil de conversation.
J'en ai d'ailleurs "parlé" avec lui et nous sommes tombés d'accord.
En fait pour prendre une analogie, chatgpt, c'est un peu comme un maçon, il sait assembler des blocs très bien, mais construire une maison, il en est incapable car il n'a pas idée du contexte, il ne comprend pas l'objectif ni l'usage attendu. Bref, il a conscience de ses propres limites, ce qui est déjà bluffant.
On pourrait dire qu'il ressemble à ce qu'on attend des employés d'une entreprise : faire plutôt que comprendre, ce qui amène souvent à faire n'importe quoi...
Néanmoins, la perte de conscience progressive des humains occidentaux devrait permettre bientôt à chatgpt de faire aussi mal qu'un humain occidental 🤔
Excellente vidéo ! Je travaille actuellement sur les transformers, mais spécifiquement dans le domaine de la classification d'images pour mon mémoire et je tiens à souligner la qualité exceptionnelle de vos explications.
Comme d'habitude, une masterclass de ta part.
Tu devrais franchement faire + de vues
Je tombe par hasard sur votre vidéo... et quelle bonne surprise, sûrement la meilleure à ce jour en termes d'explications.
Maintenant on peut commencer à argumenter pourquoi il va être compliqué d'avoir des modèles de langage qui développent comme des experts. Si on veut un modèle de langage qui soit plus performant par un facteur X (notion de performance restant à définir), quel est le facteur Y sur le besoin en infrastructure? Quel est le facteur Z pour la taille des données d'apprentissage ?
Je ne dis pas que ce n'est pas possible d'avoir des IA globales ou meilleures que le meilleur des experts humains. Mais quelle est la relation entre X, Y, et Z ? Logarithmique ? Linéaire ? Quadratique ? Exponentielle ? Si il faut multiplier par 10 la taille des infrastructures pour augmenter d'un facteur 2 la puissance d'un modèle de langage, on voit vite qu'il y a un problème. De même pour les données d'apprentissage.
Il faut plus de youtubeurs comme toi
Au sujet du grand remplacement: dans mon entreprise tous les outils se basant sur les outils deep learning & co sont bannis pour des raisons de confidentialité et de propriété intellectuelle.
Pour faire mon dinosaure: il y a des années de ca les premiers IDE devaient remplacer les devs experts pour que des devs juniors puissent avoir la meme productivité. Puis les méthodes de conception merise, uml & co devaient elles aussi se débarrasser des devs pour se focaliser sur le design puis faire de la génération de code automatique. Puis les languages à base de machines virtuelles devaient permettre de faciliter le développement en ne demandant plus aux devs de savoir comment marche la mémoire ou le cpu. Puis les nouveaux IDE ont automatisés pas mal de choses (cf. Intelij qui s'occupe d'un peu tout) tout en améliorant l'existant (complétion contextuelle, refactoring, ...). Bref les devs sont toujours là (et le niveau des juniors est clairement plus faible qu'il y a 10 ans la faute à des programmes d'études ultra chargés: tout voir mais ne rien vraiment connaître) mais clairement l'IA dans les prochaines années va automatiser pas mal de choses et tout ceux qui ont actuellement un poste sans connaissances ultra technique et/ou fonctionnelles/métier vont subir le changement.
De temps en temps je regarde une image en noir et blanc qui date de l'éclatement de la bulle internet "will code for html for food". Dans les années 90 toutes les grandes boites internet de la Silicon Valley (Yahoo, ...) utilisaient des armées de dev html... qui ne connaissaient pas grand chose d'autres. Quand les plateformes sont passés à du code généré (jsp, php, ...) ils ont virés ces milliers de personnes du jour au lendemain. A méditer...
Merci d'avoir partagé ton experience, très intéressant :)
Je ne pense pas que les dev vont être remplacer tout de suite mais a moyen terme je pense que le métier va énormément évoluer.
@@cocadmin En fait le problème principal de l'intelligence artificielle va se poser là :
Pour pouvoir créer un outil de A - Z avec une IA, il va falloir lui décrire à l'exactitude tous les micro-fonctionnalités de l'application pour que ça ait du sens, car n'importe quelle ambiguïté laissera champ libre à l'IA à l'imaginer comme bon lui semble, et décrire à l'exactitude toutes les micro-fonctionnalités ça a un nom : "Programmer".
L'IA ne remplacera jamais des développeurs peu importe le niveau qu'elle atteint, car il faudra toujours pouvoir lui décrire techniquement comment ça doit fonctionner, et même si on atteint des niveaux délirants, il faudra toujours avoir des connaissances de comment ça fonctionne derrière pour pouvoir éviter des pièges évident et autres. Après peut-être que le futur transformera le code en simple prompts en langage naturel, mais il sera toujours long et laborieux de créer des logiciels, même si ça sera sûrement grandement facilité par l'intelligence artificielle.
A mon avis la question à se poser est la suivante: si on veut un modèle de langage qui soit plus performant par un facteur X (notion de performance restant à définir), quel est le facteur Y sur le besoin en infrastructure? Quel est le facteur Z pour la taille des données d'apprentissage ?
Plus précisément, quelle est la relation entre X et (Y, Z) ? Logarithmique ? Linéaire ? Quadratique ? Exponentielle ? Si il faut multiplier par 10 la taille des infrastructures pour augmenter d'un facteur 2 la puissance d'un modèle de langage, on voit vite qu'il y a un problème. De même pour les données d'apprentissage. Le plafond sur lequel l'IA basée sur les modèles de langages va se taper la tête pourrait très bien venir de là.
Très bonne vidéo de vulgarisation sur le sujet, avec une présentation et un montage bien soignés. J’aime beaucoup ton approche.
Quelques petites précisions/ remarques :
- 124 millions de paramètres c’est pour la version small de GPT-2. Quand on le mentionne sans préciser on parle plutôt de celui a 1,5 milliards.
- Pour les paramètres de GPT-4, je ferais preuve de prudence au moment de parler chiffres. Même si les sources peuvent paraître crédibles, OpenAI a déjà menti par le passé et on sait pas s’ils utilisent tous les supposés modèles en même temps etc.
- GPT 3/3.5 peuvent avoir jusqu’à 4096 tokens dans leur fenêtre de contexte, et pas 2000. Même si lorsqu’on utilise la web app il y a déjà une partie utilisée par OpenAI avec leur prompt.
Le montage est super bien fait 👌🏽
Quelle ascension ! Force à toi 💪🏽
Vous êtes incroyable, continuez comme ça !!!
J'ai appris beaucoup vraiment top cette video, une petite demos de ce qu'est le fine-tuning et les models LLM en open source sur huggingface serait fort instructif
en tout cas merci pour cette video passionnante et de qualité
tu es un des rares youtubeurs que je mets en pause pour digérer lol
super synthèse , illustrée surtout car sinon trop de blabla .. mais ici c'est super blabla de qualité :)
tu es meilleur que IA .. pour l'instant
nouveau abonné gagné tu as
longue vie chaîne youtube tu auras
avec toi la Force sera
texte authentique certifié non IA
( des formats concentré de moins de 15min c'est super , great great job ! )
Avec Kubernetes, l'autoscaling peut être géré en utilisant la fonctionnalité intégrée d'autoscaling horizontal (Horizontal Pod Autoscaler, HPA). L'HPA permet à Kubernetes d'ajuster automatiquement le nombre de répliques de pods (instances) en fonction de la charge de travail du cluster. Cela permet d'assurer que les applications sont toujours correctement dimensionnées pour faire face aux fluctuations de la demande. Par exemple, si tu gères l'autoscaling avec Kubernetes en utilisant l'Horizontal Pod Autoscaler, voici comment procéder : Tout d'abord, tu dois spécifier les métriques en fonction desquelles Kubernetes doit effectuer l'autoscaling. Il peut s'agir de métriques telles que l'utilisation du CPU, l'utilisation de la mémoire, ou des métriques personnalisées que tu as définies. Ces métriques seront utilisées pour évaluer la charge de travail du cluster. Tu dois spécifier les seuils de déclenchement pour l'autoscaling. Par exemple, tu peux définir un seuil d'utilisation du CPU de 70 %. Lorsque l'utilisation du CPU dépasse ce seuil, Kubernetes déclenchera l'autoscaling pour ajouter de nouvelles répliques de pods. Une fois que tu as configuré les métriques et les seuils, Tu peux créer un objet HPA dans Kubernetes en spécifiant les détails de l'autoscaling, tels que le nombre minimal et maximal de répliques de pods que tu souhaites. Une fois que l'HPA est en place, Kubernetes surveille en permanence les métriques spécifiées pour évaluer la charge de travail. Si les seuils sont atteints ou dépassés, Kubernetes ajustera automatiquement le nombre de répliques de pods en conséquence. L'utilisation de l'Horizontal Pod Autoscaler dans Kubernetes facilite grandement la gestion de l'autoscaling, car il s'occupe automatiquement d'ajuster le nombre de répliques de pods en fonction de la charge de travail, ce qui permet de maintenir les performances et de faire des économies de ressources lorsque la demande diminue. J'espère t'avoir aidé! Ciao!
Thanks! C'est effectivement une bonne solution, est-ce que l'horizontal pod autoscaler peux gerer plusieurs type et/ou tailles d'instances ou ton cluster doit être homogène ?
@@cocadmin L'Horizontal Pod Autoscaler (HPA) dans Kubernetes peut gérer plusieurs types et/ou tailles d'instances au sein d'un cluster. Le HPA est conçu pour ajuster automatiquement le nombre de répliques de tes pods en fonction de l'utilisation des ressources, telle que l'utilisation du CPU ou de la mémoire. Il ne se soucie pas de la taille spécifique de chaque instance, mais plutôt de l'utilisation globale des ressources par les pods. Ainsi, tu peux avoir des nœuds (instances) de différentes tailles dans ton cluster, et le HPA s'adaptera en conséquence en augmentant ou en diminuant le nombre de répliques de tes pods pour répondre aux besoins de charge. Cependant, il est essentiel de garder à l'esprit que certaines apps ou charges de travail peuvent avoir des exigences spécifiques en termes de ressources ou de capacités matérielles, et cela peut influencer ta décision sur la configuration de ton cluster Kubernetes. Tu dois t'assurer que les différents types et tailles d'instances disponibles dans ton cluster peuvent satisfaire les exigences de tes apps pour une mise à l'échelle efficace. PS; Y a pas que des gars qui te suivent comme tu peux voir, alors au début de tes vids, pense aussi à saluer les filles! LOL
Super boulot et des explications parfaitement claires. Félicitations !
Cette vidéo à le niveau de détail parfait pour une introduction technique à l'IA et aux LLM.
Ça souligne les grands concepts mais ça reste concis, et ça pointe vers des resources si on veut reproduire soi-même.
Merci !
Incroyable boulot! Tu gères. merci beaucoup !
Et d'avoir une sorte de super IA open source et en peer to peer, genre un peu comme les torrent, ou la blockchaine, mais en gros chaque personne telecharge une application sur son PC pour entrainer UNE SEUL MEME IA collective
ça engrengerait trop de données je trouve ça dangereux d'autant centraliser l'information du pdv ethique et sécurité
@@monsieursoze4859 Tu parles detique, ben pas sur que de centraliser sois ethique car une seul et meme entiter choisis de censurer ce quil veut, alors que de mettre 0 censure, naurais pas ce probleme. Pour qui nous nous prenons pour cenuser ou pour dire que quelque chose nest pas acceptable. Les moeurs et coutume de differant pays ou civilisation sont bien differante et certaine chose que nous europeen trouvons pas etique peut letre pour certaine personne ou dans certaine coutume. Censurer par une seul et meme entiter reviens a un systeme de dictature. un systeme ouvert serais plus benefique, et rien emepeche apres davoir des multiple de systeme parallele a ce systeme avec des filtre de censure propre a chaqu'un on peut meme imaginer que certaine pays autoriserais que leurs propre version de ce systeme avec leur censure, mais le noyau doit etre 100% libre, ouvert et sans censure.
Le montage de la vidéo est nickel !
C'est peu dire, le montage est ouf !
Tant que l'IA ne comprendra pas ce qu'elle fait elle ne remplacera personne.
cette phrase a aucun sens
@@digelQ8 bas si, cela insignue si j'ai bien compris vos propos que celle ci ctrl + c du code et n'évolura pas ne fessant que des ctrl + c bien organiser :). Pas comme nous ou on pourrait en comprenent se qu'on ferait résoudre des problemes de p = np
@@qui3573 Personne n'a dit que c'était pas un bon outil, il faut réfléchir avant de taper sur le clavier.
@@printvoyageur4386 c'est une IA generative, elle ne fait pas que copier du code et bien l'organiser, elle crée à partir d'un modèle statistique, ce qui implique qu'elle est capable de découvrir des relations logiques qui ne sont pas directement inferable dans la base de donné. Le terme clé ici est "directement". Toute forme de création est nécessairement un patchwork de connaissances préexistantes, avec ces IA on approche d'un degré de sophistication de ce patchwork qui ressemble diablement aux capacités d'inférence humaines i.e. Comprendre les émotions d'un texte, faire des maths etc.
Chatgpt est capable de debugger votre code de merde en moins d'une minute et elle ne sait pas ce qu'elle fait? PATHÉTIQUE!
Excellente vidéo très complète et bien expliquée, bravo!
Masterclass la vidéo, cimer ! D’ailleurs tu fais l’erreur (volontairement ou non) de dire chat-gpt 4, chat gpt 3, etc. mais faut bien différencier le modèle, à savoir GPT dans toutes ses versions (GPT-2, GPT-3.5, etc.) de l’application d’openai qui est chatgpt, et qui est juste plus ou moins une interface avec des appels aux modèles GPT, un peu de front, etc.
pour des dataset de instruction finetuning tu devrais regarder du coté de LLAMA, Alpaca dataset etc, c'est des dataset a base de questions réponses.
Thanks! ils sont diponibles facilement ?
@@cocadmin Alpaca est open source il me semble
il y a yahoo answere et stackoverflow
il faut un peu de traitement pour extraire la réponse en quelques mots mais cette tache en linguistique on sait le faire...
mais il doit y avoir d'autres site qui permet d'avoir des questions/reponses
Il y a Cora qui fait ça.(pas la chaîne de supermarchés!😅)
C'est trop top ta vidéo bravo!
Super merci, plein de réponses à mes questions sur les LLM, c'est cool !
dire qu'on a Pi sur le tél désormais et c'est une IA très sympatoche, presque une amie ^^
MERCI ...Abonné, trop fort et trop cool tu es..Bravo pour ton travail et ton partage👌👍
Merci pour ces infos. Bonne continuation surtout. À tutti 😊
Salut merci pour ta vidéo instructif ! Je me demandais si les ordinateur quantique ne sera pas (plutard) la solution pour les architecture dédié IA ?
c'est pas impossible
@@cocadmin Pas possible aujourd'hui ou pas possible du tout ? lol je dis sa parce que en physique quantique les matériaux peuvent changer et j'ai vue que aujourd'hui on peut stocker des données dans des molécules qui ont des propriétés quantique.
Est-ce que ton modèle d'I.A. est disponible en téléchargement ?
C'est pour mon ami geekeur ^^
jpeu pas upload le model (github accepte pas les fichier de + de 100mb )mais j'ai mis les dataset ici github.com/ttwthomas/nanogpt
@@cocadminnormalement l’architecture nanoGPT est complètement compatible GPT-2 donc c’est peut-être possible de publier les poids sur Huggingface
mec , j'ai un seul truc a te dire : t'es un monstre de la tech!
Comme d'habitude c'est génial continue 👍
Très bonne vidéo continue t’es dans le thème
Sur quelle plateforme tu a louer la machine avec les gpu a 20000 balle
j'ai utiliser vast.ai c'est bcp , moins cher que aws ou azure. beaucoup plus de dispo aussi.
@8'13 Salut, video trees sympa! cette methode dont tu dois parler, c'est pas le Transfer Learning? Tu peux recuperer les parametres d'un modele et tu les entrainent sur tes propres donnees...
oui c'est similaire sauf que pour le fine tuning tu réentraine tous les layer du model pour ta nouvelle tache, pas juste les layer les plus haut.
Salut, j'ai eu la même idée y'a peu de temps aussi, une chaîne qui m'a aussi beaucoup aidé à comprendre l'IA c'est Machine LearnIA, c'est en français et plutôt bien expliqué
une question: quel retour economique as tu eu de cettte experience ?celle de coder un gpt2
Est ce qu'une RTX3080 (non TI) est suffisante pour entrainer un modèle ?
j'ai entrainé pendant 1jour sur 8x 4090 dons 1 3080 c'est léger. Mais pour du finetuning ca suffit largement.
@@cocadmin Ok merci 👌
T'as raison man, de Shakespeare à Jul ...il n'y a qu'un ..tunnel? Et .. quelques siècles ?
Quelle "TroLL" de données d'entraînement semblerais je penser ..sans dépenser me diras tu? Serait ce de la sorte possible, alors..qu'afin d'aiguiser les mélodies de la starnaque de demain sur une base de pink floyd, l'on puisse a l'occasion (entre 2 shorts) , créer une musique novatrice incontournable et "bankable", sur des LLM de la musique de Brawl Stars? On se le demande...ou l'on demande a l'iA ?! LoL.. tu m'as bien fait rire, toujours intéressant, merci 👍
Bravo pour le boulot @cocadmin pour avoir synthétiser tout ça, c'est l'une des meilleures vidéo que j'ai vu sur youtube
Je voulais savoir après avoir entraîner le modèle il faut toujours l'heberger? Ou on peut l'utiliser localement ???
Et je m'abonne continuez dans cette voie Fréro
je l'utilisais en local, c'est un peu plus lent mais ca passe
« J’ai pas de table »
Lourd 😎
Salut, super video, j'ai vraiment aimé. J'espère que tu feras un épisode 2 sur un autre type d'IA. D'ailleurs, ca serait possible d'avoir le Github de ton code stp
Fiouwww, merci pour cette masterclass.
As tu essayé de jeter un oeil sur llama2 qui est open source et qui peut tourner sur ton laptop ?
1:41 je ne suis pas expert mais il me semble que la traduction n'est pas très exact. Tu m'a tué 😂😂😂😂😂
Bonjour, j’aurais aimé savoir sur quelle interface tu codes du python ( dans cette vidéo )
Vim/tmux, vscode ou Google collab
Super vidéo bonne vulgarisation sur un sujet pas simple 👍
enfin une nouvelle vidéo que j'attendais
Très bonne vidéo frérot, excellente vulga 👌
Sacré boulot, bravo !
J’adore. J’aimerais ca que pour ta prochaine video tu essaie de cloner une carte opus(carte de transport artm au quebec) pour le mettre sur apple pay
Enorme video!!!
Encore 23 minutes de pur bonheur et d'apprentissage ! Bonne vidéo à tous 🤣
Pareil
🙏🏽
Excellente vidéo! Merci
TinyJul est dispo quelque part sur un repo git ? J'aimerais bien l'utiliser pour faire des test ça a l'air dingo mdrr
Tu m as tuer avec JUL 🤣🤣🤣
Franchement je suis choqué de ce que tu as codé 🤯BRAVO 🥳
2:09 "J'ai rien compris mais en jaune" 🤣🤣
Bravo pour la vidéo. Franchement
Le gars a codé JULGPT et a chanté lui meme🤣! Cocadmin président !!!
Super pédagogie !! Merci boss
🙏🏼
JUL JUL JUL :p tu me régale j'adore ta chaine :)
Vrai trop bien les 4 épisodes
Hola rien qu'au titre de la vidéo je sens qu'on va bien samuser. Au fait, tu peux me dire ta config PC stp ?
5800x rtx2070 32gb rien d'incroyable :)
@@cocadmin serait temps d'acheter une 3070 (y en a des bonnes pour pas cher voir des ti, ou si t'as l'argent une 4070 à 600 euros) 😅. En tous cas solide
Perso.. Yann Lecun, après avoir suivis quelques conf, j'ai capté le raisonnement qu'il a eu et comment on l'applique techniquement.
Sinon, je me tate aussi pour installer une petite IA, toutes faites, pompé sur Github, et essayer de développer.. .. .. une sorte d'API ou je pourrais balancer la sortie d'applis standart, pour améliorer les résultats ou augmenter le nombre de fonctions, filtres, etc ..
( J'essaie toujours de conceptualiser le "truc" )
Mais c'est clair, cette techno, ca fait vriller ..🎉😁
Une IA ne pourra jamais nous remplacer sur un projet custom, qui mélange plusieurs langages, dont le métier ignore lui même parfois ce qu’il veut et où le projet contient des 100ene voir milliers de fichiers dans des langages pas forcément typé et simple à retracer.
Puis même si elle était capable de faire des choses aussi complexe il faudrait quelqu’un pour la diriger, écrire les prompts, vérifier le code, les possibles régression, les mauvaises interprétations, etc.
Même avec des spécification ultra détaillée il n’est pas rare de devoir faire appel au product owner et de demander plus d’info au métier pour combler un manque d’info cruciale ou imprévue en cours de route.
Bref ça fait beaucoup à maîtriser pour pouvoir nous remplacer et la liste pourrait être énormément plus longues sur des sujets tout aussi complexe et pas forcément lié à l’écriture de code pure (QA, code review, déploiements, etc.).
- Convolution: * Action de convoluter, enroulement ensemble depuis un sommet, en papillote.
* (Mathématiques) Opération qui consiste en la combinaison de deux fonctions.
Sinon nous avons des CIRconvolutions dans le cerveau,
ce qui semble logique dans un contexte où l'on parles de logiciels utilisant des couches de neurones artificiels :)
Après "voluter" et "convoluter" n'est apparemment pas la même chose, vu qu'une "volute" (de fumée par exemple, qui... VOLe) n'est pas en forme de papillote mais de spirale.
le grand remplacement bien placé.......Haaaaaaaaaaa...tu m'as tué !!!
L'intérêt le plus grand de l'IA ça sera surement pour optimiser le code informatique, que cela soit en terme d'apprentissage, de vérification, et d'optimisation (propositions de solutions alternatives avec leurs avantages et inconvénients).
On peut même imaginer des langages informatiques qui soient créés par de l'IA, afin d'empêcher toute faille de sécurité, rapide et économe en mémoire.
Dans tous les cas c'est la capacité à collaborer avec les IA qui fera la différence. Je ne crois pas à des métiers totalement remplacés par les IA ou des métiers qui se passent totalement des IA...
@@Ctrl_Alt_Sup Absolument. L'idéal ce n'est pas la dépendance et le remplacement de l'humain par l'IA, mais la coopération entre l'humain et l'IA (avec la capacité de l'utiliser en pilotage automatique pour certaines tâches à certains moments).
Excellente vidéo de vulgarisation.
Cependant, tu ne peux pas dire que le modèle Transformer est basé que sur 300 lignes de Python. Parce que je suppose que tu fait référence à la structure basé sur du pyTorch.
trop intéressant ça donne envie de se faire son petit gpt maison
yep, l'ideal c' est de prendre un gros model comme llama et fine tune sur ses besoins exactes :)
@@cocadmin oui mais avant ça va falloir se plonger un peu dans le truc pour pas finir par juste copier un git lol
chez toi meme la pub est intéressante. si tu veux en faire plusieurs sur le sujet, je suis preneur.
Haha thanks 🙏🏼
Est-ce que t'utilises kubernetes ?
Merci Cast Ai ❤️❤️❤️
moi jai créé un chatbot complet en 1 minute avec chaatgpt lui meme. je lui est demander de généré un code source python utilisan la bhibliothèque PYtorch et un module poure créé un transformer qui peut répondre a tout mes question mais c'est rudimentaire.
C est vraie que en téléchargent q
Un apk un hacker peut avoir un contrôle totale sur notre Phone??
Hey pas mal le montage adj
Penses-tu qu’avec le fine-tuning + tweak de température, les questions/réponses auraient été plus pertinentes ?
une des etape dont j'ai pas parlé est une étape de reinforcement learning apres le fine tunning. Ou en gros tu generes plusieurs reponses et tu demande a un humain de choisir la meilleure et tu pousser ton model a donner des meilleures reponses.
je suis dev et si l'IA sait me remplacer je m'inquiète. Non pas parce que je vais pointer à pôle emploi, mais parce que ça signifie qu'elle sera autonome et pourra alors créer une contre société et nous défoncer !
Et pour en revenir à la vidéo, beau travail ! Je vais checker tes autres vidéos
Ah bah tiens elle tombe très bien cette vidéo, j'ai vu que les deux premières minutes et je me pose exactement les mêmes questions. Je regarde la suite.
L'intelligence artificielle est un outil, et le métier de développeur évoluera avec elle, mais non sans les développeurs.
« Tiny Jul » 😂 encore une master class !!! 😉
T'es incroyable 😮
à votre avis, est ec que commencer de A à Z a apprendre l informatique et la programmation, ca en vaut encore la peine aujourd hui, sachant que ca prend du temps et que comme cocadmin l a dit au debut de la video, les intelligences artificiels pourront probablement prendre le relais plus tard ?
Superbes contenus !!!
Sinon peux tu créer des cours Python pour débutants ? Parce que des cours de ce genre seront graves compréhensibles !
SVP
regarde dans la description sous la vidéo
Le Grand Remplacemebt m'a tué 🤣🤣
tu regale !!!
Très bonne video
Allez, demain, "l'IA" nous explique la physique quantique ? "vivement demain" ! CQFD 2°
très cool tout ca!
Possibilité qu'on ait accès à TinyJul ? Au moins le fichier .txt x)
Ca peut donner quoi si tu l'entraîne avec les textes qu'il te sort
Bien vu. Ça me permet de mieux comprendre le mythe ! Merci à toi.
Très bon travail mais par contre l'utilité de 8 RTX pour un script python 🤣🤣🤣🤣🤣🤣
Il faut que tu apprennes l'existence du GIL et même sans ça tourne sur CPU (ou alors tu vas galérer à le bypasser si t'es pas dev)
un pti code promo pour les formations? :)
Et l'AI appliquée à la conduite automatique des véhicules ?
D'où provient l'information que GPT-4 possède 1,7 trilliards de paramètres ? Car à ma connaissance OpenAI n'a jamais voulu divulguer cette information.
george hotz a leaké l'info et plein de gens on confirmé derriere. Techniquement c'est 8 models avec 220m de param chacunes
Bravo et merci
Excellente vulgarisation!!
Je n’imagine même pas le taf que ça a dû te demander de monter cette vidéo😂
Wow merci pour cette super vidéo !
Nous pourrais nous partager ton code qui t'a permis de faire tout ça ? Même si il est cracra on s'en fou c'est juste pour apprendre
Il a pas écrit de code, juste utilise des scripts python déjà écrit par d’autres