Відео

Quand je prends le temps, c'est un plaisir de regarder les vidéos de cette chaîne UA-cam ! Tout est clair et bien expliqué, c'est purement génial ! (Penses-tu faire des vidéos sur la computer vision un jour ?) Continue comme ça en tout cas !

Merci beaucoup, ca m'a bien plus aidé que mes cours pour comprendre les parcours

Super vidéo. J'ai été surpris en découvrant ta chaîne, c'est quali et clair (en tout cas pour qqun dans le domaine) bravo. À la fin de la video tu dis que tu compte faire d'autres vidéos avec l'implémentation. Tu parles de l'implémentation d'un algo avec modèle de monde etc ou pas ? Si oui, est-ce que tu en as fais la vidéo ?

Je découvre la chaîne et je regarde un à un tous les épisodes: c'est clair, accessible, agréable. Merci pour ce beau travail !

Bonjour Alexandre , je viens de découvrir ta chaine et franchement cela m'aide beaucoup en ce moment. Merci infiniment .

merci boss bonne vidéo!

Vidéo très intéressante merci !

Excellente vidéo. J'avais beaucoup aimé ces notions en ecole d'ingénieur et c'est agréable de jeter à nouveau un oeil dessus. Et on apprécie et l'absence d'erreur (en tout cas j'en ai pas relevé) et la clarté de l'explication (pas besoin de l'avoir deja étudié pour comprendre je pense)

La vidéo est excellente merci beaucoup

Merci pour ton taff super vidéo

Merci bravo 🤩

Très belle vidéo comme toujours, l'explication de l'entropie croisée est magistrale, je ne l'avais jamais vue ni comprise comme ça. Personnellement, je préfère écrire l'information ln(1/p): je vois 1/p comme le nombre d'essais nécessaires pour obtenir l'évènement de probabilité p, et donc le lien avec la surprise ou l'information apportée est très intuitif: chaque tirage apporte de l'info, plus l'évènement arrive tard (petite proba, beaucoup de tirages), plus il apporte d'information. Shannon a écrit historiquement -ln(p) et c'est resté, mais le signe moins n'est pas intuitif, et il est d'ailleurs compensé par le signe toujours négatif du log (puisque la proba est inférieure à 1). J'espère que la vidéo sur la compression arrivera aussi. Et le cookie déguisé en chien était effrayant jusqu'à ce que je comprenne enfin que c'était un gateau 😀 Encore merci pour votre travail d'excellente qualité.

Et un approfondissement sur la compression avec grand plaisir stp

Excellente vidéo, comme d’hab, à regarder et re regarder

comme dab, super travaille merci

Vous avez vu le muffin caché ? Quelques ressources pour aller plus loin : en rapport avec les LLMs: -LLMZip : décrit la procédure pour effectivement compresser du texte avec des LLMs : arxiv.org/abs/2306.04050 (et aussi nlp.stanford.edu/courses/cs224n/2006/fp/aeldaher-jconnor-1-report.pdf, bellard.org/ts_zip/) -Language Modeling is Compression : arxiv.org/abs/2309.10668 en rapport avec langage, entropie et compression : -Information Theory and Language : www.ncbi.nlm.nih.gov/pmc/articles/PMC7516908/ -Information-Theoric Approaches to Linguistics : sites.socsci.uci.edu/~rfutrell/teaching/itl-davis/ lien prédiction / compression : -On prediction by data compression : link.springer.com/chapter/10.1007/3-540-62858-4_69 -Prediction by Compression : arxiv.org/abs/1008.5078 -Compression Represents Intelligence Linearly : arxiv.org/abs/2404.09937 autre : -Machine Learning Meets Information Theory : web.stanford.edu/class/ee376a/files/kedar_slides.pdf -Une introduction visuelle à la théorie de l’information : colah.github.io/posts/2015-09-Visual-Information -La vidéo classique sur la théorie de l’information et ML (qui utilise une autre méthode pour présenter l'entropie, bien qu'évidemment équivalente) : ua-cam.com/video/ErfnhcEV1O8/v-deo.html

Super contenu

Merci c'était très intéressant, Lee de science4all a fait aussi une vidéo sur l'entropie basé sur la théorie de l'information si vous voulez pousser les concepts un peu plus loin

Je ne tombe sur cette vidéo que maintenant, mais je suis impressionné de la qualité des explications. Cela m'aide énormément et je vous en remercie pour cela !

J'aime beaucoup l'énigme du médecin, comment en voulant corriger des "biais" dans un LLM, on en incorpore de nouveaux qui les poussent à échouer à des tâches simples.

Merci pour cette vidéo très intéressante! PS: j'ai passé 10 minutes en pause sur le message caché mais je n'ai rien trouvé. Je pensais que gpt nous donnerait la réponse (et j'étais décidée à me mesurer à lui!). Il y a un message caché finalement ? ;-)

Est ce qu'il raisone vraiment ou fait semblant?

Super ! Merci !

excellente vidéo, bravo Alexandre !

Bonne présentation merci 👌

why not 100%?

Mec le son est à régler j'ai crus que c'était mes écouteurs

Hâte de voir un équivalent open weigts/source et pourquoi pas multi modal. À voir les applications que la communauté trouvera

Super vidéo

Le son chef :(

tu as pas l'air emballé :/

pas de son !

un peu dommage de ne pas avoir abordé l'aspect système 1 vs système 2 dans la video, je pense que c'est le but de o1

Merci beaucoup ! Toujours très clair et intéressant !

Il y a un petit problème de son (rien dans le canal de droite).

Les papiers de recherche publics qui sont (sûrement) en rapport avec l'entraînement suivi par o1: sur le côté entraînement : -ReFT: Reasoning with Reinforced Fine-Tuning (arxiv.org/abs/2401.08967) -Training Large Language Models for Reasoning through Reverse Curriculum Reinforcement Learning (arxiv.org/abs/2402.05808) sur le côté "inference scaling" : -Large Language Monkeys: Scaling Inference Compute with Repeated Sampling (arxiv.org/abs/2407.21787v1) -Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters (arxiv.org/abs/2408.03314) Petite précision aussi, c'est AlphaGo Zero qui s'entraîne à joueur contre lui-même, et non AlphaGo. Enfin, un retour d'expérience de quelqu'un qui a eu accès à o1 depuis quelques semaines : www.oneusefulthing.org/p/something-new-on-openais-strawberry

Excellente vid en tt cas merci

est ce que je peux faire un rag ou fine tunning très simplement ? je ne connais que dale au code

trop fort, est-ce qu'un custom GPT c'est du fine tuning? moi qui ne connais que dalle au code est-ce qu'il y a une façon simple de faire un rag ou du fine tuning parce que les réponses que j'obtiens quand je lui dis que c'est un expert dans un sujet il me fait des tutos complètement claqué

salut moi qui n'y connais rien au code est-ce qu'il y a moyen que je fasse du fine tuning ou un rag très facilement je veux dire les réponses que j'obtiens , les tutos sont carrément HS est-ce qu'un custom GPT c'est du fine tuning ?

Il faudrait voir si des modèles comme BERT ou BART (s’ils sont mis à l’échelle des LLMs modernes en termes de taille et de données d’entraînement) passent le test du reversal curse. Ces modèles ont un mécanisme d’attention bi-directionnel, et n’ont pas ce biais de prediction du mot suivant de droite à gauche uniquement. Peut-être que le problème est juste un artéfact technique dû au causal attention. Parce que ça m’a l’air d’être un problème de modélisation linguistique. Le LLM a des lacunes en inférence linguistique: fr.m.wikipedia.org/wiki/Modèle_d%27inférence.

Excellente vidéo, comme d'habitude ! MERCI !

du coup la réduction de dimensionnalité 13:13 utilise quel algorithme ?

Super vidéo bravo

Merci pour cette vidéo très intéressante

toujours très intéressant bravo !

6:57 Kinshasa ✨ je m'y attendais pas du tout ❤

Le mot le plus probable n'est effectivement pas forcément une simple affaire de bête répétition stochastique: imaginons un roman policier qui se termine par "et donc l'assassin est...". Pour donner le mot le plus probable (le nom de l'assassin), il faudrait avoir compris l'intrigue aussi bien que le détective qui révèle le coupable. Ce n'est pas toujours aussi simple que "le chat mange la...". Sinon, j'anticipe avec grand plaisir une vidéo sur la compression et l'entropie, j'espère qu'elle verra le jour, le sujet est passionnant <3

Le constat que je fais c'est que tous les grands acteurs de l'ia rencontrent les mêmes problèmes/erreurs lors de l'élaboration de leurs models. Si seulement ils partageaint tous leurs decouvertes et expertises on avancerait plus vite dans la recherche en ia , mais tout le monde veut faire son propre llm...

Tu penses que les futures LLM qui seront plus gros seront faire que cela ou auront des nouvelles propriétés (émergentes) ?