Un ingrédient pour atteindre l'AGI : Hallucination, GPT 4.5-5, PRM, ORM - Chronique d'une IA #6
Вставка
- Опубліковано 30 чер 2024
- #intelligenceartificielle #agi #chatgpt
Patreon : / membership
Dans cette vidéo je vous propose de plonger dans le monde fascinant des hallucinations pour comprendre pourquoi est-ce que contre intuitivement elle son indésirable en production mais souhaitable en tant qu'ingrédient pour progresser vers une intelligence artificielle générale.
00:00 Introduction
01:40 Temps défini, Calcul Infini
03:52 Penser plus longtemps
06:12 Hallucination
10:08 Oracle
[Sources]
VISION TRANSFORMERS NEED REGISTERS arxiv.org/pdf/2309.16588
THINK BEFORE YOU SPEAK: TRAINING LANGUAGE MODELS WITH PAUSE TOKENS arxiv.org/pdf/2310.02226
Let’s Verify Step by Step arxiv.org/pdf/2305.20050
[Chronique d'une IA]
Spotify : open.spotify.com/show/5yTTTKf...
Amazon music : music.amazon.fr/podcasts/5097...
Apple Podcasts: podcasts.apple.com/us/podcast...
[About me]
Visual Behavior : visualbehavior.ai
Perso : www.thibaultneveu.ai/
Github : github.com/thibo73800
Linkedin : / thibaultneveu
Twitter : / thiboneveu - Наука та технологія
Excellente épisode! Si je comprend bien, pour toi pour mettre au point l'AGI, le point central que l'on doit résoudre c'est le compromis exploration-exploitation, et ce compromis va passer par deux sous modules, un qui explore, et un qui évalue les propositions. L'idée est aussi que les deux modules continuent de s'améliorer en temps réel sans supervision externe. Je n'avais pas pensé à voir le problème de l'AGI sous l'angle de ce dilemme.
Ce que j'aime bien avec ces idées, c'est qu'elles impliquent des critères que j'utilise dans ma propre définition de AGI: apprentissage en continu, adaptive computation times (ACT). Il me semble assez évident que les architectures et que le paradigme d'entraînement autoregressif actuel ne cochent pas du tout ces critères à l'heure actuelle, bien qu'en effet il soit peut être possible d'un peu les émuler à travers le contexte des LLMs.
Il me parait évident qu'une AGI devra être capable de gérer un contexte de taille infinie (même si implicite à travers un état interne, comme dans les RNNs), sinon il y aura forcément un plateau de performance indépassable qui correspondra au moment où le contexte est entièrement rempli et où l'IA ne peut plus s'améliorer en aucune façon. Le contexte d'un LLM qui est donc constitué de tokens me semble aussi trop pauvre et inadéquat pour en arriver la avec des astuces comme la compression de contexte. Selon moi il faut que ces capacités soient elles aussi apprise, ça sera toujours très sous-optimal de laisser l'humain concevoir cette partie de l'IA. Il me semble qu'on doit pouvoir y arriver si on laisse l'IA apprendre les règles qui gouvernent les modifications de ses propres paramètres en temps réel et sans supervision externe.
Dans le futur, on devra partir du principe que l'IA qu'on déploie ne se situe pas dans un optimum local (et encore moins global), ce qui compte avant tout c'est que le processus d'optimisation puisse continuer le plus efficacement possible après déploiement, car c'est la que l'IA va passer le plus de temps en fonctionnement et qu'elle aura accès à le plus de données, d'ailleurs aussi plus représentatives.
Merci pour ton retour ! Il faudra que j'abordes ce sujet !
Super Thibault, c'est vachement bien que tu ais repris tes vidéos sur UA-cam, merci 🙏
Merci à toi 😁
c'est vraiment drôle que tu sortes la vidéo justement le jour où je fais moi-même des recherches sur le sujet. Enfaite, il suffit d'un environnement isolé de simulation et une approche basé sur les algorithmes génétique, on laisse les modèles halluciner, mais on si on établit pleins de métrique intermédiaires, ça peut fonctionner. En tout cas pour lé génération de code ça semble beaucoup plus facile que les mathématiques.
L'autre révolution que va entrainer ce genre d'approche est qu'il n'y aura plus besoin de récolter des millions de données sur des sites propriétaires et donc de payer des millions pour avoir un LLM excellent en code, ça serait une véritable révolution, voir la fin de beaucoup de choses tel qu'on le connait.
Faut avoir les moyen de reproduire l’environnement est c’est extrêmement compliqué voir impossible
Très instructif, merci beaucoup 🙏🏽
Merci. Vidéo très intéressante.
Le sujet est passionnant
Incroyable, merci beaucoup !!!!!
Merci de ce nouvel épisode. Merci d'avoir mis les sources des articles. J'ai pu lire ainsi le Step by step pour essayer de mieux comprendre comment marche un PRM. La faculté de valider un raisonnement est assez étonnante :). Je pense que tous les professeurs de math de Terminal aimeraient avoir un PRM pour valider les raisonnements de leurs élèves ;).
Par contre, j'ai trouvé la partie concernant l'Oracle un peu légère et je n'ai pas bien compris de quoi il s'agissait.
J'aurai pu être plus explicite en effet. L'oracle c'est : Les outils, les simulations et la data vérifiable qui ne repose pas sur un apprentissage a priori. L'objectif est de reposer dans le processus d'inférence (du générateur) et du PRM sur des outils externes de vérification du processus de raisonnement.
L'idée c'est que le PRM peut vérifier la logique, mais n'arrivera pas tout le temps à assurer la valider de l'étape de raisonnement reposant sur la connaissance, le résultat de simulation, calculs, compilation d'un code... etc.
Pour s'imaginer : C'est un peu comme si on te demandait de vérifier sans compiler un code informatique. Tu pourras te rendre compte de certaines erreurs évidentes, mais certains problèmes peuvent devenir apparents lorsque tu exécutes le code : C'est ça l'oracle. C'est l'ensemble des outils que tu as à ta disposition dont ta simulation qui permettent de vérifier les étapes de raisonnement.
Un PRM tout seul a besoin d'annotation humaine. Un PRM avec oracle peut apprendre à vérifier de manière autonome.
@@ThibaultNeveu Ok c'est plus clair maintenant. Merci pour la précision :)
Salut,
Merci pour tes analyses et ton temps. C est très interessant!
Pour robustifier la perception du monde j ai l impression qu il manque des mécanismes de bases pendant l’entraînement par exemple en vision on devrait pouvoir fournir la profondeur systématiquement systematiquement ou bien dire que l info est manquante ainsi que la position du haut et du bas. Il y a un vieux debat est que la réalité est mathématique ou est ce que les mathématiques ne sont qu une émanation de notre esprit et a terme notre esprit en définira la limites( que l esprit n est pas capable de pouvoir tout expliquer)?
J imagine qu il y a comme ca plein de chose que l agi doit apprendre toute seule mais je me demande si c est pas plus simple et efficace d avoir un encre plus lourde par rapport a la réalité.
En tout les mécanismes d apprentissage, d attention , de stockage exploitation de mémoire, de plasticité des modèles , relation entre les modèles sont primordiaux.
J'ai l'impression que la réponse à cette question change selon si on souhaite une intelligence explicite ou implicite
La planification et le scoring des étapes intermédiaires, c’est le but du projet Q* …
Je pense qu’il y aura du nouveau d’ici quelques semaines, il y a plusieurs indices :
- Sam Altman a qualifié GPT-4 comme une IA stupide.
- l’annonce de GPT2 …. Sans le signe moins ente GPT et le 2, (sûrement par Open AI) . Si on compare GPT-2 à GPT-4 , on comprend le potentiel de progression qu’ils visent …
Gpt2 est presque aussi performant que gpt4 j’imagine même pas qu’es que sa pourrais donner sur gpt4 directement
Merci au TOP !
Q1. Suis-je le seul à me poser la question "du point de non retour des IA" ? Cad. Lorsqu'elles auront recrachées les milliards de données qu'elles auront ELLES-MÊMES ingurgité pour leur deep learn… ?
Tu parle du data poisoning ?
Bonjour je te pose juste une question :pourquoi avoir une ia générale alors que pour moi une ia spécialisée et évolutive serait le mieux pour moi?
L'idée c'est que la généralisation sur l'ensemble des tâches aident à fournir un modèle plus performant que ce même modèle entraîné sur une seule tâche. Quelques exemples a nombre de paramètre suffisant :
- Un LLM qui apprend plusieurs langues et plus performant que ca meme version apprenant seulement l'anglais
- Un LLM qui apprend à coder est plus performant sur des tâches qui ne concerne pas le code : Il utilise la logique apprise sur le code sur d'autres tâches
- Similaire sur l'analyse d'image : Voir des scene diverse aide à comprendre et à mieux généraliser dans toutes les situations.
Plus précisément on peut le définir comme : Un modèle ayant appris sur un ensemble de tache ABC sera capable de one-shot une tache D ou d'apprendre a se specialiser a cette tache D + rapidement (en temps d'entraînement) qu'un autre modèle entrainé seulement sur la tâche À.
Il y a quelques exceptions et des cas intéressant de teacher student qui sorte de ce paradigme cela dit. Mais c'est la même idée pour une IA Générale. On souhaite qu'elle soit une réflexion omnisciente, quitte a ensuite utiliser des modèles plus spécialisés pour l'aider si nécessaire.
Il manque aux I.A:
---La capacité d’activation constante: L'humain réfléchit, même quand il ne fait rien: l'humain s'auto fine-tune 24/24
---S'entendre réfléchir: Le process-supervised est une bonne façon de permettre cela.
---La mémoire: La data (nos apprentissages) font des humain des astrophysiciens ou un électriciens (etc). Se souvenir c'est s'optimiser, s'améliorer et in-fine réinventer nos idées.
-La mémoire humaine est a court terme , à long terme et enfin, elle est incruster dans notre mental.
-Si je compare a nos IA cela serait: (court terme)LA RAM / (long terme)Le disque dur / (notre mental) Le modèle de l'IA
---L'accès à la réalité (simuler ou réelle): Nous avons découvert la matière noire PAR le réelle, c'est le réelle qui nous imposé sa présence.
En somme, la nature à mit des millions d'années à améliorer notre modèle humain, tout nos "agents" (conscience, voix intérieur, pensés omniprésentes) nos stockages compartimenté, nos processus physiologique dissocier (un "agent" pour la vue, un "agent" pour l’ouïe, un "agent" pour la chimie etc etc)
Bref l'AGI passera surement par le mimétisme du modèle "cerveau" et le temps va dans ce sens ( même si les mots utiliser semble différent, leurs fonctions semble les mêmes)
* On aura compris l'essence du concept, néanmoins la matière noire reste une hypothèse sérieuse et non une certitude.
@@maxencebolzten4931 clairement, c'est comme un clou dans une planche de bois. Ça explique pourquoi les planches sont collés, sans certitude que ce soit réellement un clou (mais "ça marche" )
Ces concepts existe déjà...et on déjà été utilisé.
Tu as une source spécifique en tête ?
@@ThibaultNeveu lecum, c'était a époque des Gan, je ne suis pas un expert je suis juste le sujet en anglais.Enfin moi je comprenais son principe d'énergie comme un équivalent de cette idée qui n'était pas vraiment nouvelle ou là fonction d'évaluation était apprises, aussi ce n'était pas sur des modèles de langage mais de la classification d'image je pense mais l'idée avait l'air si répandu a l'époque que je pensais qu'elle avait reprise sur les transformer.
@@Gauloi007 Je comprends le rapprochement que tu fais. Pas vraiment comparable avec les GANs si ce n'est sur l'auto différenciation possible entre les deux modules. Il y a avec JEPA de grosse subtilité qui en font des solutions différentes : concurrentes et / ou compatibles selon modules dont on parle.
@@ThibaultNeveu ua-cam.com/video/LB4B5FYvtdI/v-deo.htmlsi=flIwBD5QA5b_d5kw par exemple dans vidéo on peut voir que la Lost fonction est modifié par la back probation au fur et mesure, elle est donc apprise... Et ils me semblent qu'il y a déjà toute une classe de modèle comme ca ... Peu être que tu peux demander à Yannick.
Il comprend vraiment ce qu'il raconte ?