L'IA pourrait bientot s'autorépliquer et c'est inquiétant, Charbel-Raphaël Segerie, Directeur CeSIA
Вставка
- Опубліковано 30 чер 2024
- #IA #sécurité #podcast
Patreon : / membership
Si vous voulez vous renseigner davantage ou contribuer à la sécurité de l'IA, le centre pour la Sécurité de l'IA possède un discord et une newsletter accessibles ici : securite-ia.fr/
Charbel-Raphael Segerie est directeur général du CeSIA (Centre pour la Sécurité de l'IA). Il donne un cours sur la sécurité de l'IA au sein de l'École Normale Supérieure. Ses travaux portent sur la caractérisation des risques émergents dans une IA, c’est la raison pour laquelle je voulais m’entretenir avec lui pour parler des questions d'interprétabilité, des défis liés aux méthodes de sécurité actuelles et de la conception d'IA sécurisée par design.
ActuIA, le magazine de référence sur l’intelligence artificielle
boutique.actuia.com/shop/maga...
[Dialogue Machine]
dialoguemachine.buzzsprout.com/
[TimeCode]
00:00 Introduction
11:30 Auto replication & biological weapon
28:30 Open source, Risques & Eff / acc
46:30 Solutions & Alignement des IAs
01:10:00 La meilleur et la pire chose qui puisse arriver en IA
Dialogue Machine
open.spotify.com/show/0MLiO89...
[Sources]
Preparedness
openai.com/preparedness/
Anthropic's Responsible Scaling Policy**
www.anthropic.com/news/anthro...
Continuous Homeostatic Reinforcement Learning for Self-Regulated Autonomous
arxiv.org/abs/2109.06580
Discovering Language Model Behaviors with Model-Written Evaluations
www.alignmentforum.org/posts/...
New report: Evaluating Language-Model Agents on Realistic Autonomous Tasks
metr.org/blog/2023-08-01-new-...
Effective accelerationism
en.wikipedia.org/wiki/Effecti...
ChaosGPT
flowgpt.com/p/chaosgpt
www.futura-sciences.com/tech/...
IA manipulatrices
arxiv.org/abs/2308.14752
Exploiter les signaux faibles :
Prédire l'opinion politique avec une image : awspntest.apa.org/fulltext/20...
écouter les touches de clavier
www.extremetech.com/internet/...
L'histoire du modèle qui devine (parmi tous les êtres humains !) qui est en train d'écrire
www.lesswrong.com/posts/doPby...
Conférence de Hinton
• Prof. Geoffrey Hinton ...
Natural Selection Favors AIs over Humans
arxiv.org/abs/2303.16200
SLEEPER AGENTS: TRAINING DECEPTIVE LLMS THAT PERSIST THROUGH SAFETY TRAINING
arxiv.org/pdf/2401.05566
Eight Things to Know about Large Language Models
arxiv.org/abs/2304.00612
Superposition, Memorization, and Double Descent
www.anthropic.com/research/su...
Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets
arxiv.org/abs/2201.02177
Are Emergent Abilities of Large Language Models a Mirage?
arxiv.org/pdf/2304.15004
Towards Monosemanticity: Decomposing Language Models With Dictionary Learning
transformer-circuits.pub/2023...
Accelerating fusion science through learned plasma control
deepmind.google/discover/blog...
AlphaGeometry: An Olympiad-level AI system for geometry
deepmind.google/discover/blog...
AlphaFold 3 predicts the structure and interactions of all of life’s molecules
blog.google/technology/ai/goo...
Conference de hinton que tu as cité ?
Figure 01
www.figure.ai/
[About me]
Visual Behavior : visualbehavior.ai
Perso : www.thibaultneveu.ai/
Github : github.com/thibo73800
Linkedin : / thibaultneveu
Twitter : / thiboneveu - Наука та технологія
Trop chouette de voir Charbel-Raphaël sur ta chaîne ! Les deux épisodes que j’avais fait avec lui m’avaient particulièrement marqué !
Merci de cette vidéo intéressante sur les conséquences possibles d'une non maitrise de la sécurité liée aux IA.
Le genre de vidéo qu'on veut voir plus souvent, génial !
Une des meilleures vidéo sur ce sujet, bravo de ne pas être tombé dans les dystopies faciles des doomers.
D'un point de vue informatique la conscience est un flux de log.
Trop bien, pourrait tu inviter d'autres expert sur des sujets qui lie l'audio et l'ia ?
merci
Merci pour cette interview
Fusion nucléaire contrôlée : les centrales au thorium suffisent.
38:50 Bonjour. Pas AlphaGo, mais AlphaZero.
Intuitivement j'ai toujours appelé mes ia local des bestioles, je suppose que la non interpretabilités des mécanismes internes à ces machines m’empêche de les décrire comme de simples machines. heureux de constater que la même sémantique est utilisé par un crack du domaine.
Ce n’est clairement pas un crack du domaine cependant.
Ce serait intéressant d'interviewer Yann LeCun qui affirme que les IA actuelles sont très loin de l'intelligence humaine. Il prend l'exemple des êtres humains qui n'ont pas besoin de millions d'images de chat pour savoir ce qu'est un chat, idem pour apprendre à conduire. Le fonctionnement des LLM ne peut pas mener à l'AGI il faudra découvrir de nouvelles méthodes de fonctionnement.
L'interview de Yann Le Cun ce serait top !!! Et puis ne pas s'arrêter à 2 points de vues assez opposés. Un synthèse ou une table ronde ensuite ?
top
Honnêtement je reste sur ma faim. Les raisonnements sont souvent des non réponses ou des exemples mais l'expérience ne doit pas avoir valeur de preuve (un exemple c'est plutôt fait pour aider à comprendre en illustrant un propos IMHO). J'aime bien tes questions Thibault, mais je suis déçu du niveau des réponses. Pourtant on sent chez Charbel-Raphaël un vraie connaissance du sujet. c'est un domaine qui manque de maturité ? Ça m'a donné envie d'en savoir plus sur son travail et ses productions. Je ne vais pas m'arrêter à cette première impression.
Et bravo quoi qu'il en soit d'expliquer et de partager, ces éléments, la qualité est top sur ta chaîne !
Merci pour ton retour !
En complément, j'ai été regarder son intervention sur la conscience et je suis d'accord elle est top. Et dans tous les cas merci d'apporter des éléments de réflexion.
C’est quoi un système aligné
Qui se comporte tel que spécifié par l'objectif de base : Voir ma dernière vidéo Contrôler (ou pas) les IAs en lisant leurs pensées : Enjeu crucial - Chronique d'une IA #9 ua-cam.com/video/-Gl2jTOx4uY/v-deo.html
Aligné sur les valeurs de qui ? Les tiennes ? Contrôlé par qui ? Une petite oligarchie auto-proclamée, ou pire une dictature populiste vivant de démagogie, qui déclarera ce qui est bon et ce qui est mauvais ?
Ne penses-tu pas qu’il faudrait laisser à une intelligence plus grande la gestion d’une grande société, de la même façon que les cellules de notre corps délégue leur gestion commune au cerveau ? (Autrement ça donne des cancers, quand elles se prennent pour des « individus »)
Déléguent *
ça pu le franglish chez vous. Apprenez à parler correctement le Français et à respecter la langue et ceux qui vous écoutent avant de vous exprimer en public, c'est insupportable !!