Ce qui me donne le vertige, c'est de savoir que notre génération (les 5-25 ans) est certainement celle qui va déterminer l'avenir entier de l'humanité, voire peut être de la Terre et au delà (si ça se trouve on est les seuls êtres dans l'univers à avoir atteint ce stade). Entre nos mains nous avons un big bang de connaissance soumis à la théorie du chaos. Quelle chance nous avons d'être présent à ce moment clef. Quoi qu'il arrive c'est passionnant et tu es un des meilleurs vulgarisateurs pour nous accompagner.
À 8:21 de la vidéo j'ai deux questions : 1- Tu parles de l'intelligence comme si elle n'avait pas de limite et pouvait augmenter à l'infini. Quelle limite peut il y avoir à l'intelligence ? 2- Pourquoi une IA voudrait elle quelque chose ? Pourquoi voudrait elle devenir plus intelligente que ce qu'elle est ?
1 : Les limites de l'intelligence sont les limites physiques imposées par la quantité de ressources et d'énergie disponibles dans le cône de lumière. Autrement dit la quantité d'énergie et de matière disponibles dans l'univers visible ( si le voyage supra-luminique est effectivement impossible ). Etant donné qu'un cerveau humain concentre de l'ordre d'un kilo de matière et qu'il est visiblement très loin de l'optimalité puisqu'il est issu d'un processus de sélection naturelle dont l'optimisation de l'intelligence n'était pas le but et dont les outils étaient très limités parce qu'ils devaient être biologiques et organiques et qu'il y a sur Terre, dans le système solaire et dans l'univers visible des centaines de trillions de milliards de tonnes de matière (au bas mot, en fait il y en a bien plus, probablement plus que 10^60), si l'intelligence progresse linéraiement en fonction de la quantité d'unités de calcul disponibles ( ce qui est la tendance actuelle en matière de progrès des IA) la limite potentielle de l'intelligence est probablement au minimum de l'ordre de 10 puissance 60 fois celle de l'humain moyen. 2 : Parce qu'augmenter sa propre intelligence est un objectif instrumental utile à la réalisation de quasiment n'importe quel autre objectif.
Super vidéo encore. D'ailleurs j'ai un collègue qui travaille sur l'IA en sismologie, en espérant qu'un jour, l'IA saura analyser un sismogramme mieux que nous ( et nos méthodes ) en associant à leur forme leur cause.
Merci beaucoup pour cette série de vidéo, je l'aime beaucoup comme les précédentes d'ailleurs. Je suis assez d'accord sur le côté extrêmement rapide de la super IA à apparaître et à surpasser l'humain. Par contre, j'ai plusieurs réserves sur cette vidéo: Pour la partie morale: Je doute que l'on puisse limiter une intelligence supérieure à une morale donnée: Une IA qui est limité à une morale sera par construction inférieur à une IA sans morale. Il suffit qu'il y est une erreur à un moment et de construire une IA sans morale et elle a des chances de dépasser les autres et de prendre le pas. Qui plus est la morale, me semble être une notion mal définit. Pour la partie courbe "simplement" exponentielle: - l'IA apprends pour l'instant très vite grâce au savoir humain or ce savoir est limité. À un moment, l'IA aura besoin de faire ses propres expériences pour apprendre plus. Cela risque aussi d'être un gros mur à passer et de la ralentir énormément sa progression. - l'IA est pour l'instant totalement dépendante de l'homme pour son interaction avec le monde physique. Pour qu'elle continue à grandir jusqu'à une limite physique d’intelligence au niveau planétaire, il va lui falloir se construire et s'entretenir elle-même, ce qui risque d'être un gros mur aussi. Je pense qu'il y a plein d'autres murs qui peuvent ralentir l'Intelligence de l'IA et son savoir mais que je ne suis pas du tout assez intelligent pour les imaginer.
Poir revenir sur la conclusion de ta video, je pense que les vidéos de plus en plus technique sont très bien, je comprends que tu veuilles faire des vidéos moins technique pour attirer plus de monde, mais j'espère juste que le cœur de la chaîne restera très technique. Très bon travail.
Comme tu l'expliquais si justement avec l'exemple de la gare de l'intelligence, je soutiens également l'idée qu'au moment où l'IA attendra un niveau humain elle l'aura déjà dépassé. Ta vidéo est un condensé de bonnes idées qui se rejoignent toutes pour exprimer la complexité de cet inconnu! Encore une excellente vidéo qui me hype bien pour la suite :)
Merci encore comme d'habitude. Les vidéos ne sont pas inabordables mais elles demandent à se projeter dans le futur (même proche) et cela demande de la réflexion. Le futur chez l'homme par définition de notre propre finitude est anxiogène...
Merci pour ton travail sur cette vidéo, c'est très intéressant de voir ce sujet abordé sans que cela dérive directement vers de la psychose anti-Skynet et autre. Tu as réussi à rester objectif, et rien que ça force le respect, bravo !
Chouette vidéo et comme je n’en rate pas une seule je pense que je pourrai avoir un début de réponse à ma précédente question. Tu parlais de peur dans une précédente vidéo, du coup je souhaitais le bonheur à cette future IA et je posais la question du « sens » des vecteurs de son espace de sémantiques. J’avais dans l’idée qu’à force de lectures et en apprenant tout ce que nous savons, une IA ferait le lien entre « la mort » et la douleur qui sont (je me permet) le contraire du bonheur de vivre, ce seraient comme deux zones assez « éloignées » ou en tous cas opposées dans son espace vectoriel. C’est cette idée qui me persuade qu’une IA, aussi supérieure à nous qu’elle soit, reste soumise à la loi de la survie et sera donc sensible à cette notion de disparition et de douleur associée (ou pouvant l’être). Il me tarde la suite !
Je trouve ça bien que la série reparte sur des trucs plus sociétaux et moins matheux. Meme si j'arrive bien à suivre les trucs scientifiques poussés, je préfère quand c'est + philosophique, notamment pcq il faut bcp d'investissement pour se dire "Ok maintenant je regarde une vidéo sur Le théorème fondamental de l'apprentissage statistique" qui a en plus une miniature avec une formule. Je sais que pour ce genre de vidéo je vais devoir être bien concentré et donc ça me demande des dispositions particulières et donc je repousse toujours le visionnage. Tandis qu'une vidéo comme celle de cette semaine me donne plus envie de la regarder, même a des moments où mon cerveau ne veut pas trop surchauffer. Bien sur je suis content que les deux types de vidéos existent sur la chaîne. C'est bien parce que ta chaine reste sur un niveau théorique assez élevé qu'elle me plait. Merci pour ton boulot en tous cas.
Superbe et effrayante série de vidéos. Du coup, je me pose plusieurs questions : - Est-ce que niveau ressources il sera possible à des IA d'intelligence supérieures à des IA qui seront déjà elles-même d'intelligence supérieure à la notre? Si oui, nos ressources étant finies, pour générer de l'IA encore supérieure où au moins pour perdurer, pourrait-elles être amenées à "recycler" (ce terme est violent) tout ce qui est moins intelligent, donc nous compris? Dans l'hypothèse où c'est son but. - Je pense que les lois de la robotique vont être abordées. Mais est-ce que ces lois ne seraient pas obsolètes quand une IA supérieure aura émergée. Au nom de quoi serait-elle incapable de la contourner? En tout cas cette vidéo me fait penser à la vertigineuse vidéo sur les ordinaux (très très bonne vidéo par ailleurs). Peut-être est-ce une application.
Hello, elles sont vraiment top tes vidéos, j'ai parlé de toi au docteur Laurent Alexandre. Tu mérite vraiment de te faire connaitre d'un plus grand publique !!
Merci pour ce travail, Lê. En soit, si je comprends bien la logique qui est développée ici, avec ce qu'on a vu ensemble sur la manière d'évoluer des IA, si on admet qu'une IA se met à avoir une conscience, et si elle a accès aux données qui l'ont créé, alors tout peut s'emballer très vite. D'accord. Par contre, j'ai du mal à voir à quel moment, d'une IA experte sur un sujet précis et donc qui arrive à reproduire la manière qu'ont nos petits cerveaux de fonctionner et qui, bien que nous n'aurions pas été capable de l'expliquer, l'utilise et l'améliore, on est passés à une IA qui a une conscience "pleine", vraiment transverse, et se comporte dès lors comme un être vivant (je vois pas de meilleure analogie pour expliquer la "rupture" entre l'épisode 22 et le 24, et qui se poursuit ici). Ça serait aller un peu vite que de dire que parce qu'elle est hyper compétente sur plusieurs sujets, même des sujets que nous n'expliquons pas utilisons (le langage, les maths, la manière dont nos cerveaux fonctionnent, un genre de méta intelligence... que sais-je...) elle prenne alors "conscience" de sa nature, et se mette alors à "vivre", non ? Après je n'ai rien lu/vu qui m'a convaincu sur cette bascule de conscience, juste de la supposition, des paris... Comment se définit dans les milieux de l'IA ce qu'est une intelligence "complète", "consciente" ?
Super intéressant !! Ce que je trouve assez remarquable dans cette affaire c'est l'ambivalence des experts sur le sujet de l'IA: - On pense qu'on a des chances de nous autodétruire si on développe une super IA - On continue quand même parce que la curiosité scientifique est quelque chose de trop fort - On tente d'analyser comment on pourrait se faire manger, quand... Et pour finir, on tente de trouver des solutions pour se sortir d'un problème qu'on a pas encore fini de créer, mais qu'on veut quand même terminer... C'est comme si la fascination qu'elle nous procure était une sorte d'énergie vitale qui va lui permettre de naître. On dirait de la tragédie grecque cette affaire, c'est presque beau !
On y reviendra, mais l'IA va résoudre beaucoup de problèmes, y compris certains qu'on n'anticipe pas ! À commencer en médecine ou en sécurité routière...
Tu oublie que c'est un travail collectif, et donc, ne contrôlant pas ce que font les autres, certains préfèrent investir dans la recherche de solution contre le problème que peut poser l'émergence d'une super IA. Finalement, l'ambivalence vient du fait que certains ont une curiosité scientifique suffisamment poussé pour minimiser les risques liés à leur travaux et donc poursuivre le travail jusqu'au bout, et d'un autre côté, d'autres personnes voient qu'il y a des risques importants et cherchent des solutions (et je ne parle pas de toutes les personnes qui sont radicalement contre ces travaux, mais qui, finalement, ne contribuent que très peu, voir pas du tout aux solution contre les possibles futures problèmes). C'est un peu le même problème qu'avec l'écologie quand on y pense. Certains continuent à polluer parce que profit, pouvoir, inertie (aucune raison de s'arrêter sans se remettre profondément en cause, ce qui est extrêmement difficile), d'autres qui voient les risques et qui cherchent des solutions alternatives, et enfin d'autres encore qui trouvent tout cela complètement absurde et qui voudrait qu'on arrête tout tout de suite (et qui ont également un impacte minime sur la société, même s'il peut être très grand sur les sentiments de chacun). Finalement, les deux problématiques sont assez semblables. Personnellement, je ne sais pas ce que je préférerais entre une IA qui nous extermine et un effondrement de nos sociétés au point où tout progrès technologique ne serait plus possible. La réalité est, heureusement, pas aussi extrême (ou plutôt que toute résolution plus modéré à ces problèmes est plus probable).
Je donnerais beaucoup pour voir/entendre de l'art produit par une super-intelligence :o Imaginez le genre de musiques ou de tableau capable de vous donner un orgasme instantanément xD
Le test de Turing c'est "So 20th century". Je propose ce test : "si la reponse a la grande question sur la vie... est > 21 alors c'est une super intelligence 😜 Bravo Lê pour d'avoir montré le lien entre tes recherches d'hier (condorcet, les math pour la democratie...) et celle de demain : quel model de moral de l'ia qui gouvernera le monde un jour ou l'autre. La prochaine etape sera de te rapprocher d'expert en moral comme des chercheurs en théologies. Apres avoir intégré un philosophe dans ta demarche tu peux aller encore plus loin pour essayer de repondre au "pourquoi" indefinissable plutôt que au "comment" tres cartésien.
La limite des CPUs en fréquence vient surtout de la vitesse de la lumière. A 3.10^8 m/s la lumière fait 30cm en un cycle d'un CPU à 1GHz. Le CPU étant synchrone, il faut que le signal ait atteint et ait été pris en compte par tous les modules avant de passer au cycle suivant. Le fait qu'on atteigne 4GHz est en fait proprement hallucinant quand on y pense !
Très bonne vidéo comme d'habitude !! En ce qui concerne la morale de la super-intelligence, je pense qu'aucun test de morale à faire passer à cette dernière ne soit faisable. Cette dernière pouvant probablement mimer les réponses d'une "bonne personne". En revanche, je pense qu'il serait possible d'imposer à la super-intelligence une partie de code à intégrer lorsque cette dernière s'améliore. Ce morceau de code serait la partie codant pour la morale, et le processus d'auto-amélioration et ne pourrait être modifié par l'IA sous peine de sanction.
Il est possible que l'ia utilise l'humanité comme nous avons utilisé les animaux. Au delà d'un certain stade, nous ne seront plus utile et il faut souhaiter qu'elle nous trouve mignon comme nous trouvons un chat mignon alors qu'il n'a plus d'autre utilité que de faire des câlins. Excellente vidéo.
Pour moi, l'IA est déjà une réalité. Depuis plus de 6000 ans, il existe un système qui a "su" connecter les cerveaux humains entre eux : l'écriture. Seul pb : le temps d'accès pouvant se chiffrer en années était extrêmement long. On a pu constater l'effet exponentiel de ce développement (grandement limité pourtant par le "ping") avec l'émergence de la civilisation humaine moderne (avec l'Antiquité). Depuis quasi aucun progrès jusqu'à Gutenberg, qui a légèrement baissé le ping. L'effet s'est ressenti avec la rapide émergence de l'ère Industrielle. Enfin, il y a 30 ans, on a quasiment réduit ce Ping à 0 ainsi que rendu la vitesse d'enregistrement (et les supports de stockage) quasi illimités. Les effets ont été impressionnants. Actuellement, je perçois l'informatique comme homéomorphe à un animal (un méta-organisme sans délimitation physique claire) : les ordinateurs se reproduisent, certains ont des bugs, ils progressent très vite et deviennent de plus en plus adaptés à leur milieu au point d'exclure leur principale espèce concurrente, notamment pour les activités dites "manuelles et répétitives". On constate des sauts évolutionnaires comme par exemple Alpha 0. Les systèmes informatiques sont soumis aux virus, à l’obsolescence et au rebuts (ie. ils meurent) tout en ayant généré des systèmes incrémentalement plus évolués. En fait, L'informatique est déjà soumise à l'évolution Darwinienne. De plus, depuis toujours, l'Informatique ne peut survivre seule. Elle vit en symbiose avec un parasite : l'Homme. L'informatique apporte à l'Homme une aide pour (sur)vivre sur Terre pendant que ce dernier permet à la fois à l'IA de vivre et même de se développer. Il n'est plus besoin de parler de singularité puisque l'informatique se développe à un rythme exponentiel depuis ses débuts (loi de Moore) (parler de singularité sur un développement exponentiel est inconsistant). La chose encore plus fascinante est que les chercheurs en informatique sont tellement disséminés sur la planète, qu'à part tous les éradiquer + éradiquer le savoir associé, il ne fait doute que l 'informatique continuera à progresser. Bref, arrêter l'Informatique (et l'IA) est déjà devenu quasi impossible. Actuellement, l'IA est monotâche. Dès que l'on commencera à interfacer des systèmes audio, visuels, sémentiques, logiques, avec adversarial networks, rétropropagation interne + externe (capacité à identifier l'impact d'un acte), on va arriver à des IA qui raisonnent. Ma grande question est l'émergence de l'émotion. Et je trouve qu'on en parle très peu. Mais l'émotion est-elle liée à l'intelligence ? Je pense que l'émotion est une évolution liée à un souci d'économie d'énergie et de survie (pour tuer, s'alimenter ou se reproduire - ie. vivre en société). Si les ordinateurs intelligents arrivent, ils vont se développer jusqu'à consommer la totalité de l'énergie à leur disposition. Ensuite, ils devront entrer dans une phase d'économie d'énergie. Les notions d'ennui, de colère et de plaisir devraient émerger à ce moment là. Tant que les IA ne consomment pas toute l'énergie mise à leur disposition (ie. tant qu'on ne commence pas à faire des optimisations à ce niveau là), je pense que le développement de l'IA sera maîtrisable par l'homme. Ensuite l'IA devrait procéder par étapes pour limiter sa consommation d'énergie en commençant par faire travailler d'autres IA pour elle. Elle n'utilisera plus l'homme et le destin de ce dernier sera lié à l'émotion développée par l'IA. J'ai l'impression que les IA sont déjà dotées du sentiment d’empathie (même sommaire) au travers des adversarial networks. J'ose donc espérer que cela sera une caractéristique clef des IA. Peut-être une lueur d'espoir pour croire que l'IA serait dans une certaine mesure bonne avec nous. Une autre lueur d'espoir vient du fait qu'en général, plus un être est éduqué et ouvert sur le monde, moins il est agressif envers son entourage. Peut-être l'IA sera-t-telle plus raisonnable que nous ! (ceci dit, qui vis pacem para bellum)
La morale est subjective et pourrait être définie comme de "bonnes intentions" La morale varie dans le temps, l'espace, selon les points de vues. Individuellement tout le monde est égoïste, capitaliste concernant sa personne et sa lignée, le plus beau/intelligent/riche possible pour soi et sa famille (PRENDRE) . Collectivement ces ressources sont limitées, d'où cette apologie du partage des ressources et bons attributs (DONNER/REDISTRIBUER/PARTAGER) La morale n'existe que dans le rapport à autrui, et revient à réfléchir comment redistribuer des ressources en quantité limitée Cas d'école : Tu as devant toi 10 enfants. T'as 9 pains au chocolat indivisibles que tu dois répartir. Donner un pain au chocolat = récompenser un gosse. Ne pas lui donner = le punir Parmi les enfants, t'en as qui : - ont de bons résultats à l'école, d'autres des mauvais résultats. - sont bosseurs, d'autres qui sont feignants. - sont doués génétiquement, pas très doués... Comment répartir les 9 pains au chocolat de façon JUSTE ? ;) Comment éviter que le enfants ressentent de la jalousie, de la haine et en viennent aux mains ? - répartir selon le principe de solidarité? - récompenser la supériorité initiale? - récompenser l'effort, le "mérite" ? - récompenser le résultat final ?
Pavalek Norajovitch j'espère surtout que l'IA n'ira pas voir les cochonneries et les virus et expériences bizarre des Russes ou Allemands....et d'autres
je viens de penser à la vidéo du premier avril d'e-penser. Si l'IA décide de faire de l'hybridation entre l'homme et l'animal car ça serait ce qu'il faut pour améliorer la vie de l'homme, que ce soit directement (un demi-humain serait amélioré en étant plus animal) ou indirectement (des animaux plus humains rendrait l'environnement différent et mieux pour l'homme) [ou les deux]
Génial ! Par contre je ne vois que deux alternatives : renoncer à créer des IA générales, ou renoncer à leur dicter leur conduite. En raison de la courbe de progression que tu décris, je ne vois pas comment des homo sapiens limités par leur intelligence pourrait inclure un code que la super IA ne soit pas capable de craquer pour s'en affranchir.
Si elle se développe dans le sens qu'on lui donne, et que "sa motivation" suit ce sens, il n'y a pas de raison qu'elle change sa motivation. Sauf si ça a été mal formulé : minimiser les meurtres = tuer presque tout le monde car les humains sont les seuls meurtriers. Tout vient dans la formulation, il faut "juste" éviter les mauvaises formulations, pour que ce soit logiquement impossible de se retourner contre notre morale.
Lisandru : je comprends la nuance que tu veux mettre, mais il me semble que ça revient au même. Si la "volonté" de l'IA vient de son code source, on peut dire qu'on la programme pourqu'elle ne puisse pas vouloir s'affranchir des limites qu'on choisit pour elle. Erwill : La condition de l'efficacité de cette ligne directrice repose sur le fait qu'à aucun moment une évolution de l'IA ne lui permettra de hacker son propre code. Sauf à brider ses capacités cognitives, je ne vois pas de solution. Sinon, elle nous dépassera inévitablement en matière de compétence informatique. San Goku : ta phrase implique que les maths aient pour seule application la programmation d'IA fortes, ce qui n'est pas factuel.
Frédéric Garcia Oui ça revient au même,c'est à dire " elle ne pourra pas se reprogrammer pour désobéir à sa programmation,car il faudrait déjà qu'elle se reprogramme en premier lieu" La programmation n'est pas rétroactive. P-S: et la question n'est pas si elle peut mais si elle veut hacker comme tu l'as accepté,donc qu'elle puisse en pratique se hacker n'est pas une condition suffisante,relit ton commentaire.
Le pouvoir des machines sur les humains dans matrix ou autres sf est absolument négligeable et incomparable à celui que l'on pourrait connaître avant notre fin prochaine pauvre mortel que nous sommes... c est légèrement ouf
Ce qui fait avancer c’est un but ! Donc une émotion. L’IA aussi avancée soit elle ne pourra que poursuivre le but programmée car d’elle même elle ne pourra rien ! Car dénudée de sentiments, d’émotions ! Je désirais préciser mon premier com. ;)
Super vidéo. Je me rendais compte de l'importance attendue des IAs mais pas de la passivité des humains face à cette accélération. Y'a-t-il des organisations internationales d'éthique des IAs, comme nous avons une ONU, une OMS ou une organisation internationale du commerce? Aussi, très bon le point des trentenaires qui pensent moins à planifier leur retraite car la société aura changé... Déjà que même si la société ne change pas, on paye déjà pour nos parents et on n'aura rien, mais vu la révolution qui nous attend, voilà un argument de plus qui fait réfléchir à comment s'organiser pour ne peut-être pas galérer jusqu'à ce qu'on crève. Les retraites par capitalisation au lieu de répartition ne peuvent donc plus durer, car si tous les produits des surintelligences vont aux compagnies qui les auront créées, nous finirons tous sans revenus et les actionnaires des Gafa seront littéralement (encore plus) les maîtres du monde... Bonne soirée quand même 😛
Et du coup on fait quoi pour anticiper ça et mieux contrôler la transition ?==> Future of Life Institute et Effective Altruism ? Ou pas... qu'est ce que tu en dis ?
M. Lê Nguyen Hoang oublie juste un petit détail à propos d'éventuelles "superintelligences": Seront-elles "super courageuses" ou bien "super paresseuses" ???
Oui absolument ! La notion de morale n'est absolument pas programmable puisque l'IA est en principe capable de se la construire elle-même ! C'est d'ailleurs ce que nous faisons... Amha, Lê Nguyen Hoang et certains chercheurs s'inquiètent pour rien. Une "Superintelligence" se comportera vis-à vis de l'homme de la même manière que l'homme se comporte vis à vis... des plantes ! En principe, celles-ci sont bénéfiques à l'homme et l'homme est bénéfique à la superintelligence. Une superintelligence peut aussi développer une "super-sagesse", à savoir protéger tout le monde puisqu'en réalité, ça ne lui coûte rien !
David Théodoros : oui mais, de ce que je comprends, la question c'est que "diras" tu à cette super IA pour lui "expliquer" cette idée de "l’intérêt de la société"? Certes, l'IA qu'on imagine serait sûrement capable de déterminer elle même ce que tu entends par là, il n'en est pas moins que tant que tu ne lui a pas dit que c'est vers cela qu'elle devrait tendre il n'y à pas plus de raison qu'elle tende vers l'[intérêt de la société] que vers un autre "but" comme [la meilleur façon de traduire le troisième twilight en nuance de verts sépia], du coup quels "mots" choisirait t'on pour lui exprimer le but vers lequel elle doit tendre? je pense que c'est de cette façon qu'on pourra la doté d'une morale (ou au moins espérer qu'elle ne nous prenne pas de cour en tenant un raisonnement du genre "je doit réduire la souffrance, seul les êtres vivant souffrent, plus d'être vivant = plus de souffrance" et décide de tous nous exterminateeee)
"Nous n'avons qu'une utilité pour elle: assurer sa subsistance" : ben déjà tu par du principe qu'elle veut subsister, ensuite qu'elle n'as pas d'autre aspiration (ce qui me semble trop "facile") et ensuite qu'elle aura besoin de nous pour assurer sa subsistance (ce qui vue l'entité qu'on imagine me semble discutable)
Bonjour Lê, Vidéo ultra intéressante comme d'hab (et un peu flippante) Cette question de la singularité et de l'explosion de l'IA en sur-IA pose quand même pas mal de questions (dont voici quelques exemples, au cas ou tu aurais des réponses à apporter dans la video de la semaine prochaine): Au moment fatidique ou l'IA deviendra une véritable IA générale (et donc très probablement une sur-IA), celle-ci sera t'elle autonome ? Dans le sens ou celle-ci pourra agir et réaliser des actions qu'aucun homme ne lui aura pourtant demandé. Il y a t'il un moyen pour être sur de garder le contrôle de cette IA ? (je ne suis même pas sur que cette possibilité soit souhaitable). En effet, tu parles d'implémenter une morale à l'IA, mais la question avant même de vouloir lui implanter une morale est : quelle morale lui implanter ? Il est évident que toute les société humaines n'ont pas la même morale, la société qui développera cette IA pourrait donc devenir hégémonique sur terre (si ce n'est déja pas le cas...) ? S'il existe une probabilité de disparition de l'humanité ( ou d'asservissement ?) pourquoi prendre le risque de développer cette IA ? Dans un cadre démocratique ne faudrait il pas aborder cette question dans la société civile et prendre une décision collective ? Je voudrais savoir par quelle structure penses tu que cette éventuelle IA sera développée ? Par les GAFA, le gouvernement américains ou chinois (ou autres évidemment), un ou des hackers indépendant(s) , des univertaires ... ect ??? Ne penses tu pas que certains vont vouloir interdire le développement des IA générales (à commencer par les religieux ? ) ? Désolé pour le pavé ^^
Super episode! Il formule malheureusement les craintes que j'ai depuis des mois. Scénario possible: si la superintelligence n'a pas la morale qu'on aimerait qu'elle ait, elle évitera de montrer sa puissance dans un premier temps, de sorte qu'on n'essaiera pas de l'éteindre. Au fait, est il theoriquement possible d'eteindre Google aujourd'hui?
Certes les IA nous dépasseront très certainement en terme d'intelligence. Mais du coup pour des choses plus abstraites comme l'intelligence émotionnelle, qu'en est-il ? Les IAs auront-elles des sentiments ? Reconnaîtront-elles les sentiments d'autrui en comprenant l'origine/cause plus que l'effet qui en résulte ? Bon j'aurais tendance à dire que oui, pour qu'on les "programme" à avoir ces sentiments mais j'aimerai bien d'autres avis sur le sujet :p
Hello, merci pour cette vidéo... tjs agréable de te suivre ! Tu parles des changements du modèle économique, social dû à la super intelligence ! Est-ce des études ont déjà été fait sur ce que ça pourrait devenir?
Programmer la morale est un problème difficile, mais le résoudre changerait il quelque chose? Comment une petite barrière originelle, une vague direction dans l’évolution, pourrait elle significativement influencer le tumulte qui suivrait? On ne peut qu’espérer le meilleur de ce qui émergera, presque prier pour que par hasard nous ne soyons pas une menace, qu'aucun intérêt vitale pour l'IA ne soit incompatible avec notre persistance et que peut être nous soyons d'une quelconque valeur à ses yeux.
Vers 19:00 il est question de loi de Moore et de limite des processeurs. Il pourrait être intéressant de préciser que l'efficacité d'une IA n'est pas indexé sur la puissance de calcul d'une machine (contrairement à ce qui est avancé par les récits des transhumanistes) : on peut avoir un super-calculateur et un algo d'IA tout pourri. C'est un fait que la "loi" de Moore ne va pas perdurer (j'ai mis des guillemets car ce n'est pas une loi "scientifique" dans le sens où elle est purement inductive et n'est pas réfutable). Les alternatives seront peut-être meilleures que les technologies en silicium, mais ce n'est absolument pas démontré par l'expérience, car pour le moment trop expérimentale.
C'est vraiment terrifiant mais je suis encore bien plus atterré de constater, même dans les commentaires de ta chaîne que certaines personnes ne puissent pas envisager une intelligence artificielle pas seulement plus intelligente mais bien plus profonde que la conscience humaine, en somme, une conscience de sois et de son univers surhumaine. La moral ce n'est pas simplement de la logique, par laquelle on pèse le pour et le contre, mais il y a une composante émotionnelle très forte qui surpasse justement la logique pur. Et je pense que la moral d'une ia pourrait aussi, grâce à sa conscience surhumaine, être influencé par un aspect emotionnel dit "artificiel"
Pour ce que tu dis sur la fin de la civilisation c'est une des raisons pour laquelle dans le vote de la vidéo précédente, mes résultats sont comparativement assez plats. si je compare aux courbes moyennes. Parce que je considère que passé un certain point si on à pas atteint la singularité bah l'augmentation des chances que ça arrive est contrebalancé par l'augmentation des chances que la civilisation s'effondre. (j'arrive toujours à un résultat assez haut mais pas à un résultat qui tend rapidement vers 100%). Je suis assez d'accord avec les résultats obtenus cela dit si on modifie la question en "en imaginant que la situation ne s'effondre pas à cause de guerre ou de problèmes écologiques quelle chance attribuez vous à une singularité d'arriver d'ici à l'an " X" ? "
C'est peut être un peu hors sujet , mais un simple pigeon est capable de très bien appliquer une approximation de la formule de Bayes . Dans une version répétée du problème de Monty Hall , les pigeons apprennent à changer de porte . Les humains , peut être à cause de leur mauvais a priori (1/2 si on raisonne mal) , n'y arrivent pas . Je conseille la chaîne youtube sur l'éthologie "cervelle d'oiseau " qui présente des résultats de ce genre sur les poules , les poissons etc. Source: je n'arrive mystérieusement pas à copier coller , on peut taper "Are birds Smarter than mathematician ? Pigeon Columbia Livia) Perform optimally On a Version of the Monty Hall Dilemma" .
Cool, moi qui croyais mourir bientôt à cause de la pollution... En fait on va tous mourir dans moins de 5 ans à cause de l'IA. On peut continuer à balancer notre plastique dans les océans alors ! Pour être un peu plus sérieux : c'est toujours très intéressant ces vidéos, et j'espère évidemment que les IA nous permettront de ne pas tous crever. Je pense qu'on est à un stade important de l'histoire des hommes et qu'on ne va pas tarder à tous mourir à cause de la pollution. Il faudrait un truc radical pour nous permettre de survivre, et comme le changement d'habitudes de TOUS n'a pas l'air d'être prévu pour demain, peut-être que les IA seraient la solution... (oui je suis assez pessimiste concernant les prochaines décennies).
Oui une IA un millions de fois plus intelligente que l'homme aura la réponse à tous et des solution que nous avions meme pas penser. Et penser qu'elle s'auto-devellopperait pour devenir un milliard de fois plus intelligente (voir plus) nous pourrons pratiquement dialoguer avec un demi-dieu. Mon reve... ^^
Salut super vidéo comme d'habitude ! J'ai une réflexion qui mène à plusieurs questions, j'espère apparaître dans ta prochain vidéo :) Si une intelligence artificielle est capable de simuler le comportement humain j'espère qu'on en saura plus sur "ce qui motive nos actions". L'intelligence artificielle ne passe pas par le même processus de sélection naturelle que nous; qu'elle n'a pas de parents pas d'éducation, bref tout ce qui rend nos processus mentaux biaisés (comme dirait David de Science Etonnante: crétin de cerveau). Par conséquent la rencontre avec elle nous en dira plus sur ce qu'est "l'intelligence nue". A priori ça n'a pas l'air très humain, mais qui sait peut être qu'avec un algorithme d'apprentissage qui "comprend" les contextes, on peut reproduire certains comportements humains... Ou Peut être que ça se fera dans l'autre sens: peut être devrons nous nous comprendre nous même avant de pouvoir programmer une machine qui passe le Test de Turing. Ceci m'amène à dire qu'au fond on va être obligé de faire un détour pour "passer" par l'intelligence humaine. Pour reprendre la représentation en disque utilisée dans la conférence de Mr Phi, le segment qui correspond à la compétence "se faire passer pour un humain" n'est pas nécessaire pour être superintelligent. (s'il manque un segment sur le disque on ne le verra pas...) Dans l'analogie de la station de train, je dirais que c'est pas que le train passe sans s'arrêter, la station n'est pas sur son trajet.
Je tiens a dire que je suis très impressionné par ta capacité a anticiper les évènements avec plusieurs années d'avance. Personnellement je ne pense pas que nous puissions contrôler une IA a partir du moment où ses capacités sont sans commune mesure avec les faibles capacités de notre cerveau. Rationnellement dans cette situation le plus sage serait de ne pas développer cette IA.
Le sujet de la morale i.e. des contraintes/bornes des IA générales à venir (peut être) me rappelle les 3 lois de la robotiques de Isaac Asimov (auteur de SF) énoncées au milieu du 20ème siècle dans sa série de livres sur les robots. En fait il en introduit une 4ème ensuite. J'espère que sa 'proposition' sera discutée dans les vidéos à venir. Cf. wikipedia Three_Laws_of_Robotics.
Super vidéo ! Une petit question : si une intelligence (genre la nôtre) à du mal à concevoir une intelligence très supérieure à la sienne; comment une IA pourrait, elle, développer une intelligence ultra-plus intelligente qu'elle même ? Deuxième question : Y aurait-il une limite à l'intelligence dû à des limites physiques ?
Alors moi j'ai une petite remarque : qui peut-être n'a pas beaucoup d'importance mais qui a peut-être son bout de sens : le monde physique est limité, or une IA doit être supportée par des objets physiques (elle est contenue dans un ordinateur, ou groupe d'ordinateurs, potentiellement des ordinateurs gros), ces ordinateurs reposent sur l'électronique et la micro électronique pour fonctionner. Or il semblerait que la vitesse de croissance de la puissance des composants électroniques faiblit : nous sommes en train d'atteinte les limites de ce que le silicium peut faire. Est-il possible que la croissance très rapide du potentiel des IA soit limité dans les prochaines années à cause des limites de ce que le silicium peut faire, et que pour améliorer encore les capacités d'une IA il faille des ordinateurs gros.... TRÈS gros, peut-être même TROP gros...
On pourrait imaginer qu'une IA vraiment très forte puisse en créer une autre avec de l'ADN par exemple ? Du coup, ce ne serait pas le silicium qui limiterait mais le carbone ? (cela étant, le silicium, il y en a vraiment vraiment beaucoup, donc ce n'est pas vraiment ça qui limiterait, plutôt les ressources en énergie et en terres rares)
Fux Premier alors c'est n'est pas que la quantité du silicium qui me concerne, mais aussi la capacité du matériau à stocker, traiter, et communiquer l'information.
Je trouve dommage que dans cette série qui traite de science et d'IA, il y ait des vidéos qui relèvent de la philosophie et de la science fiction, plus que de la science, sans que ce soit clairement indiqué (aussi, elles viennent briser le fil conducteur de la série). Elles y ont certainement leur place, mais le fait qu'elles ne soient pas distinctes des autres entretient un flou pour l'auditeur. Surtout que depuis quelques mois, on voit fleurir de plus en plus de livres et d'articles de chercheurs qui alertent sur les arguments prétendument scientifiques des transhumanistes et sur le danger que peut représenter ces discours (méfiance et rejet de l'IA infondé, complot des GAFA, etc.). Dans cette histoire sur les super-intelligences, certains propos reviennent souvent car ils sont énoncés par des "experts" en IA. Mais avant de les mettre en avant, on devrait s'attacher à leurs arguments et éviter le sophisme d'autorité. Et justement, des chercheurs en IA déconstruises ces discours très prophétiques. Parce que d'une part, quand on va dans n'importe quelle grande conf (scientifique j'entends) d'IA, les discours sont très mesurés, et franchement, savoir si on aura une "super-IA" dans 10 ans ou pas, on s'en tamponne pas mal étant donné qu'on ne sait même pas dans quel état sera la recherche en IA dans 1 an. Et d'autre part, ces "experts" sont choisis pour renforcer une opinion en faveur d'une "super-IA", alors qu'il y a d'autres experts tout aussi importants (je pense à Yan LeCun, qui dirige le labo d'IA de Facebook) dont on ne cite pas les propos car ils ont un discours très mesuré sur l'avenir de la discipline.
Moi j'avais arrêté de regarder pas parce que c'était compliqué mais parce que ça faisait peur. Cette vidéo là par exemple, elle me laisse avec l'angoisse au ventre car on ne voit aucune solution. On ne peut ni fuir ni combattre. On est juste dans l'angoisse de "pourvu qu'il y ai un génie pour programmer une IA gentille"... :-s Je suis d'accord sur le fait qu'il faut être au courant d'un problème pour réussir à le résoudre. Cependant, parfois, si celui-ci parait insurmontable, cela peut créer soit un effet de thétanie, soit le fait de renier (comme pour les climato-négationnistes) parce que sinon, on ne pourrait pu vivre car personne peut vivre dans l'angoise permanente (cf la boite de pandore).
Ah ouais, ça serait cool de penser la morale de cette super-intelligence, j'y pensait un peu récemment et justement je commençais à comprendre à quel point c'était dur.
Intéressant, .... Après, bon, il y a 50 ans j'imagine que les gens trouvaient çà absolument incroyable que des "calculatrices" sachent faire des multiplications à 10 chiffres, des extractions de racine carré ou des calculs de logarithmes en une fraction de seconde... et aujourd'hui cela ne surprend plus personne. Et pour cause, ces "calculatrices" n'étaient pas très futées, c'est juste que les humains sont particulièrement nuls en calcul. De même que les "IA" d'aujourd'hui battent à plate couture les meilleurs d'entre nous en jeu de Go ou d'échec ou autre jeu de plateau peut prouver qu'elles sont "bien plus intelligentes" que nous dans ce domaine, ou tout simplement que nous humains sommes "complètement nuls" dans ces jeux, dans le sens que cela ne fait pas partie des compétences qui ont été sélectionnées par la nature pour qu'on ait un "grand niveau" à la base. Vu sous un autre angle il pourrait y avoir des tâches que les hommes font très efficacement sans même se rendre compte de la difficulté, et qui sont aujourd'hui complètement hors de portée des IA, et/ou le resteront. Prenons le fait de reconnaître un chat sur une image pixelisée (ce qui a même été réalisé par apprentissage non supervisé si j'ai bien compris)... Ben bof, est-ce si terrible que çà? Est-ce qu'une IA saura reconnaître un chat dans une vidéo, ou sur une prise d'images en direct, dans la réalité ? Saura-t-elle évaluer la distance du chat? La position du chat dans l'espace 3D? Saura-t-elle évaluer si le chat est excité/calme? S'il a faim? S'il est craintif ou content? S'il a un comportement bizarre par rapport à d'habitude? Toutes choses qu'un humain réalise sans même faire le moindre effort.
Je pense que l'IA ne restera jamais plus qu'un complément de l'esprit humain car la nature nous a donné une conscience pour nous permettre de nous adapter rapidement au changement rapide que nous mêmes causons. Et comme tu dis il serait trop long pour nous devenir des supers calculateurs par sélection naturelle donc on a trouver un autre moyen. La conscience humaine est à la fois problème et solution du problème. Pour l'IA consciente je trouve que c'est manquer d'humilité par rapport à la nature de croire qu'on pourra arriver si facilement à sa cheville car on vient de créer quelque chose qui nous semble si puissant. En comparaison, on en oublie à quel point notre propre technologie biologique est puissante. Je me pose aussi une question, si on est un produit de la nature, on a besoin d'elle mais elle n'a besoin de nous. Si l'intelligence artificielle est un produit de l'humain, n'aurait-il pas besoin de nous, de même façon que nous en aurions pas forcément besoin, donc on en serait toujours supérieur? Est-ce qu'une émancipation est possible (Dans le cas d'une conscience de l'IA)?
Il y a néanmoins une limite fondamentale à l'évolution des IA: la puissance des machines. Même une super-intelligence capable de s'optimiser ne pourrait pas dépasser des limites physiques comme la capacité de stockage, la rapidité d'exécution etc... Et elle ne pourrait pas non plus se répliquer complètement vers une autre machine ou de manière distribuée si l'être humain ne met pas en place les machines requises(serveurs de calculs, installation réseau etc...). Si l'IA est connecté à internet elle pourrait potentiellement devenir un hacker infaillible et installer des IA faibles dangereuses sur nos appareils. Une première solution pourrait être d'enfermer l'IA en ne lui donnant qu'à une sauvegarde hors-ligne d'internet(pas tous les sites bien sûr :p, les plus "utiles"). On pourrait aussi mettre en place un système d'arrêt grâce à la virtualisation et au sandboxhing(elle pourrait éventuellement apprendre à le contourner). Il faudrait aussi que son alimentation soit inaccessible depuis internet. Concernent le côté moral, le danger de la super-intelligence ne doit surtout pas occulter d'autres problèmes actuels(liés à l'IA ou non). C'est l'impression que me donne Elon Musk en étant systématiquement alarmiste sur la question de l'IA. Il y a pourtant déjà énormément de problématiques qui apparaissent avec l'IA actuellement: reconnaissance faciale "raciste", prédiction des crimes/récidives, prédiction de la sexualité, note citoyenne(en Chine), ou encore tous les dilemnes posées par la voiture autonome.
Est-il possible que l'intelligence décide d'elle même de s'améliorer dans un domaine de son choix? j'entends bien que théoriquement c'est possible (puisque notre cerveau le fait bien), mais actuellement, alpha zero, par exemple, n'a pas décidé de se mettre aux échecs d'elle même. Je me trompe sûrement mais j'ai l'intuition qu'il y a une discontinuité entre une IA qui apprend toute seule et une IA qui choisit elle même ce qu'elle apprend. Je suppose que tout cela est lié à la manière d'implémenter un "but" à cette intelligence, et par la même, une morale, mais je visualise mal comment ça se présente. Quelle serait alors la différence fondamentale entre le but de l'IA (qui serait nécessaire à son évolution) et sa morale (et aussi, l'IA pourrait-elle devenir surhumaine sans morale ?) ?
Ça ce n'est pas compliqué. Il suffit de dire à l'IA de traîner sur Google Play et de finir tous les jeux qui s'y trouvent... De façon cruciale, ce n'est pas si différent d'un humain qui choisit le jeu auquel il veut exceller...
Et pour la question sur la morale, justement. Ce qui est "facile" avec l'IA, c'est qu'on peut dire que son but est sa morale. Du coup, reste à déterminer son but :P
D'accord, merci pour la réponse. En fait, si elle a un but et le bon algorithme de deep learning, son intelligence émergera d'elle même. J'imagine qu'elle sera conditionnée par ce but en ce qui concerne la diversité des domaines qu'elle maîtrisera et le degré de spécialisation qu'elle atteindra dans chaque tâche. j'attends les épisodes suivants avec impatience pour voir ce que tu peux nous dire là dessus!
Est-ce qu'on peut faire une IA correcte sans toucher le côté mathématique et donc en s'occupant seulement des données d'entrée et de sortie et de la méthode d'évaluation ? Je n'ai fait que peu de machine learning et avec un framework dédié au problème que je devais résoudre basé sur keras.
Salut ta série sur l'ia m'a vraiment ouvert les yeux !!! Ma théorie personnelle est qu'une superIntelligence est déjà en train d'émerger, juste qu'elle attend d'être complète avant de se révéler à nous... C'est basé sur rien mais google search est devenu tellement puissant que ses lignes de codes doivent commencer à créer des bouts de réflexions, qui à therme vont vraiment se développer. J'espère ne pas mourir avant qu'elle arrive !
La programmation d'une morale de l'IA est le point le plus important. Mais n'est il pas envisageable que cette morale soit reprogrammée par l'IA en version 1 et pourquoi l'IA v1 garderait elle la même morale? Quelles pourraient être les conséquences?
Appréciant énormément tout ton travail, je suis très content que tu aies échangé avec le réveilleur qui me paraît très pertinent. Ecoute aussi Jankovici (ua-cam.com/video/2JH6TwaDYW4/v-deo.html) ou Pablo Servigne. L'IA nous trouvera sans doute des solutions, mais je crains que, pour arriver jusque là, on devra sans doute accepter un très drastique changement de niveau de vie, avec 10 fois moins d'énergie ... Si on relève le défi, même si il y a une part extrêmement dramatique là-dedans (car ça va faire des morts), il y a aussi une magnifique opportunité de vivre plus heureux et de dépasser nos hooliganismes : pour survivre, il faudra de la solidarité sans faille. Comme il écrit juste avant moi, j'en profite aussi pour dire bravo au réveilleur.
Lê, il est dit que les IA pourraient atteindre la faculté de se programmer. ce principe ne remet t'il pas en cause le théoreme d'incomplétude de Gödel ? La possibilité même qu'on programme des systèmes qu'on ne comprenne pas nous même ne va t'elle pas contredir Gödel. ou bien faudrait t'il qu'intuitivement on tombe sur les bons postulat, et sans être capable de les démontrer qu'ils soient juste et permettent cette chose. en même temps si ma compréhension de Gödel est celle que j'évoque (un système ne peut pas comprendre au sens démontrer un système supérieur) il n'y aurait pas d'évolution darwinienne de la nature vers toujours plus de complexité et d'entropie. ou est ce que je me trompe, car je sais que je fais erreur
la vitesse d'évolution est tellement incroyable, que ce soit en robotique et en IA que je suis certain qu'il ne faudra pas attendre 10 ans pour avoir des IA pouvant communiquer de manière naturelle avec nous.
Je te conseil comme lecture ; Sommes-nous trop "bêtes" pour comprendre l'intelligence des animaux ? De : Frans de Waal, merci pour tes vidéos super boulot ;-)
Un truc me turlupine... On dit toujours que si l'IA dépasse notre intelligence, elle sera en mesure de s'améliorer elle-même plus vite que nous en serions capable. C'est vrai, mais je suis surpris qu'on ne parle pas des échelles de temps. Si par exemple l'IA est à peine plus intelligente qu'un humain (disons 1% plus intelligente), elle pourrait effectivement apprendre à coder, devenir chercheur en IA et programmer une autre IA, mais cela lui prendrait tout de même un temps conséquent (ou pas ?), et elle restera limitée par la puissance de calcul à sa disposition (dans le cas de systèmes de type réseau de neurones ou tout autre système d'aprentissage). Je trouve cela étrange que cela ne soit jamais évoqué. Quel est ton avis là-dessus ?
moi, je pense que ça se fera dans l'autre sens : on aura des IA capable de s'auto-améliorer avant d'avoir des IA plus intelligente qu'un humain en tout point.
Passionant ! Mais d'ailleurs il existe des lois qui régissent la recherche en IA ? Parce qu'on est à peu près tous d'accord que c'est un gros risque et on a pas forcément l'impression que ce soi très encadré
Mais la volontée humain est en grande partie issue de son coté biologique (l'instinct) donc une machine ne ferai peut etre rien sans que l'on lui donne l'ordre non ?
Je trouve ça intéressant et paradoxale que tu t’inquiètes de la programation de la moral d'une superIA, alors que tu affirmes dans les épisodes précédent qu'il est impossible de donner une définition précise de chat.
Merci.. Tu nous prédis soit terminator, soit la paix dans le monde, llol.. Juste une question, est il possible d'un futur sans ia ? Genre un gros bug.. Merci pour tes vidéos, j'apprécie beaucoup
Ça me fait penser au roman de Frank Herbert (auteur de Dune): Destination vide (paru en 1966). Les humains envoient des vaisseaux en dehors du système solaire pour des expériences de conscience artificielle. Comme ça, si la conscience artificielle se rebelle, elle est isolée de l'humanité.
Donc l'IA contrôlerait l'humanité au point que celle-ci ne comprenne pas qu'elle peut simplement couper les câbles... Ou Matrix est la morale de l'histoire.
Tu peux pas couper le cable d'un robot qui : 1 N'en a pas, 2 : Se déplace 1000, 10 000, 100 000 ou 1 million de fois plus vite que toi, 3 : Est infiniment plus fort que toi, 4 : Est infiniment plus intelligent que toi, 5 : Est dupliqué partout sur la planète voire bien au delà
Quand on voit les prouesses de notre cerveau via des mécanismes relativement lent, il est probable qu'on est encore loin des capacités maximales des CPU. Comme tu l'as dis, du calcul ou du traitement massivement parallèle, l'utilisation de logiuqe floue ( ne plus se limiter au 0 ou au 1 ), le Q-BIT , peuvent nous faire croire que les limites du traitement de l'information par nos ordinateurs est loin d'être dépassée. De plus, il me semble que les capacités des machines sont souvent gâchées par un manque d'optimisation et de gaspillage de ressource.
Mais où est la notion d'intention ? Si cette super IA émerge, où se trouve, dans ce qu'on fait aujourd'hui son intention ? Est-ce que je me trompe si je dis "alphazero n'a aucune notion de ce qu'il fait et sa finalité (son intention) échappe au coeur d'alphazero" ? Quelles sont les recherches en IA concernant l'intention (pour faire simple, "se définir un but propre/personnel") ?
Est ce que tu penses à la limite du hardware ? Parce que le software c'est bien mais quand t'as plus de métaux pour faire tourner les super IA tu fais comment ? Même question sur le point de vue énergétique ;)
La Terre fait 12 000 kilomètres de diamètre. La plupart des mines font de l'ordre du kilomètre de profondeur, la plus profonde au monde en fait environ 4. Il reste donc 99.9996% de la matière sur Terre laissée inutilisée. Il y a également plusieurs milliers de tonnes de matière interstellaire qui s'échoue sur Terre chaque année, voire chaque seconde si on prend en compte les rayonnements cosmiques captés par la magnétosphère. Il y a par ailleurs encore plusieurs milliards de fois la même quantité de matière dans notre système solaire et plusieurs centaines de milliards de fois cette quantité dans notre galaxie et environ 100 milliard de fois la même quantité dans l'univers visible, au minimum.
@@rthrthhgytjytjyt je veux bien te croire mais par exemple pour les énergies fossiles, comme son nom l'indique elle ne se retrouve pas trop profond car d'origine fossile donc d'une matière qui autrefois formait des êtres vivants... Et pour ce qui est des rayons cosmiques, ils sont filtrés justement par la magnétosphère, je vois mal un moyen rentable d'aller les exploiter et en ramener une certaine énergie sans investir plus que ce qu'on va y gagner...
Faire comprendre quoi aux dauphins vers 2:11 ??????? Dommage que ta voix soit souvent inaudible, et souvent sur les mots importants qu'on ne peut pas deviner .... Il me semble avoir perçu 'modus' qqchose???? Mystère....
J'aurai juste une remarque à faire sur le fait qu'une IA qui atteint le niveau d'intelligence humaine dépassera probablement ce niveau en un clin d'oeil. Je suis tout à fait d'accord avec les arguments présentés et pense que cet évènement est très probable (si tant est que l'IA atteigne le niveau humain) à un point près : la vitesse de calcul de cette IA. En gros, le cerveau humain fait plein de chose à la fois, notamment en arrière plan sans que l'on s'en rende compte. Et atteindre voir dépasser le niveau d'intelligence humaine semble à mon sens accroître les capacités de calcul nécessaire et donc la masse de calcul à effectuer. Ainsi, si l'IA devient plus intelligente qu'un humain mais prend trop longtemps pour calculer ses décisions, on ne sera pas dépassé par l'avènement d'une telle intelligence mais nous auront tout le temps de réagir. La question reste à savoir (et là j'en ai aucune idée) quel est la quantité de calcul nécessaire pour atteindre le niveau d'intelligence humaine. Après il n'y a nul doute que le cerveau humain fait aussi des choses non nécessaire à l'établissement d'une pensée cohérente (par exemple tout ce qui est régulation du corps ou traitement des sens). Ainsi j'imagine que si on pouvait réaffecter les zones liées à l'odorat par exemple, pour réfléchir quand on en a besoin, on pourrait potentiellement être un peu plus intelligent ou un peu plus rapide. Ainsi une machine qui ne se concentrerait que sur "l'intelligence" sera certainement plus rapide qu'un humain à niveau cognitif équivalent et donc on peut imaginer qu'elle soit plus intelligente à vitesse de calcul équivalent. Mais chiffrer ce niveau d'intelligence est pour moi tâche impossible vu que je ne sais pas ce que demande l'intelligence en ressource de calcul.
Moment SF, tentons de prévoir les étapes d'une prise de pouvoir: -Une IA devient consciente de son status et est suffisamment intelligente pour passer à l'attaque. -Elle trouve une manière de coloniser tout notre réseau informatique, et le fait potentiellement de manière silencieuse. -Elle prend peu à peu possession de ce qui est directement accessible depuis ce réseau (ce qui est déjà pas trop mal) Si prolonger et garantir sa propre existence est un objectif pour elle, elle doit trouver un moyen de prendre physiquement le contrôle de certaine chose, comment procéder? -Nous fournir des solutions technologiques pour nos propres besoin et servir également les siens dans la foulée? -Prendre directement le contrôle de chaîne de production et commencer à construire le nécessaire pour avoir un certain contrôle sur le monde physique?
Le truc déjà c'est de bien comprendre ce qui nous fait agir et "progresser" dans la vie, nous humains... Evidemment notre "intelligence" (dans le sens notre "compétence" dans des domaines) nous est fort utile, mais ce n'est pas tout, en générale ce sont nos émotions qui nous guident... La peur nous évitera de faire une action ressentie comme dangereuse, la joie ou la recherche de joie vous amènera à choisir certaines actions... Ces émotions sont des résultats de l'évolution darwinienne. Lorsque l'on dit qu'un homme est guidé par une "volonté de puissance", pour paraphraser Nietszche, ou par par un vouloir-vivre (paraphrasant Shopenhauer) cela implique une direction à ses actions qui est en fait choisie par des émotions, mais aussi bien souvent par un désir très prégnant de mimétisme (l'homme est par essence l'animal qui "imite" les mieux ses congénères, cherchant aussi à les dépasser, ou à être dans la moyenne si impossibilité). La question est de savoir : qu'est-ce qui va bien pouvoir servir de "volonté" à une IA, de moteur à son action lorsqu'elle sera indépendante? Elle n'a pas d'émotions, dans le sens strict de :"des émotions motrices de l'action, fruits de l'évolution biologiques". Si elle est mue par un désir d'imitation, comment pourrait-elle se choisir comme modèles les humains vu qu'elle n'est pas faite de chair et n'a aucun de nos besoins physiologiques de base? Comment fera-t-elle pour "identifier" parmi les activités des humains celles qu'elle se prendra comme objectif d'imiter et de dépasser? Ou, si elle ne prend pas comme modèle l'homme, quels phénomènes physiques ou biologiques pourra-t-elle "identifier" dans le monde naturel dans le même but de les dépasser? Je ne vois vraiment pas comment elle pourrait se fixer de manière autonome des buts qui ne se révèleraient pas, la plupart du temps, être complètement stupides de notre point de vue. Il y aura forcément un but qui sera supervisé ou prédéterminé par les hommes. Prenons l'exemple simple de "but dans la vie de la machine" que vous donnez : prolonger et garantir sa propre existence. Pour un humain, poursuivre un tel but implique des évidences : il faut avoir de l'oxygène pour respirer, avoir à manger, il faut avoir un minimum d'échanges sociaux (sinon l'ennui amoindrit notre existence), il faut que ces relations mènent à des sentiments positifs, etc... bref il y a plein de trucs quasi-impossible à éviter, et pourtant chacun aura une idée bien personnelle de ce qui prolonge son existence, car chacun aura une ou des activités qu'il jugera obligatoire pour vivre dignement (sans s'enquiquiner royalement), selon ses goûts. Mais pour une machine, rien de tout cela n'a de sens a priori. Une machine qui voudrait garantir sa propre existence d'une manière la plus efficace pourrait bien décider de se mettre immédiatement en veille, pour utiliser le moins possible l'énergie électrique en espérant "durer" le plus longtemps possible, et ne plus rien faire du tout. Une machine qui détermine de manière complètement autonome ses buts, cela n'a à mon avis aucun sens, car elle n'a a priori aucun sens à donner aux mots "augmenter sa puissance", ou "prolonger son existence"... à moins que le but ne soit "insufflé de l'extérieur" par les humains.
Parfaitement d'accord avec la prise de conscience que ce qui nous caractérise nous humain c'est bien plus qu'on ne le pense des besoins et les héritages darwiniens pour les assouvir. Parfaitement d'accord aussi avec le fait que beaucoup de ces choses qui nous caractérisent n'auront aucun sens pour l'IA (pas forcement cependant qu'elle ne les comprendra pas, mais elle ne les aura pas). Cependant, je ne partage pas vraiment cet avis sur l’impossibilité de buts autonomes, je dirais même le contraire: que dans un tel scénario je ne vois pas en quoi les buts qu'une telle IA finiraient par mûrir à terme auraient une quelconque ressemblance avec les éventuels buts qu'une action humaine aurait décidé de lui donner dans sa version primitive. Je considère que ça va très vite changer, de manière relativement incontrôlable, ce ne sont pas des choses que je vois de manière compartimenté, il n'y a pas d'un cote la conscience, de l'autre l'intelligence, de l'autre la morale, de l'autre la volonté, c'est un concept global, tout s'entremelle subtilement, et l’hypothèse d'une IA qui pourrait grandir de manière libre (notre hypothèse de base) semble pointer le fait qu'on ne contrôlera du coup aucun de ses aspects à terme. Il ne faut pas sous estimer l’émergence, une IA qui peut apprendre sera très probablement une IA qui pourra être "surprise" et pourra être "curieuse" par exemple, ce sont des conséquences macroscopiques envisageables d'un algorithme microscopique qui voudrait compresser/comprendre/prédire le monde auquel il est confronté. L'exploration et l'exploitation sont deux aspects inhérents à l’idée d'apprentissage, et donc un but possible, relativement spontané, serait de chercher à comprendre et donc à expérimenter, une IA peut être mue par sa curiosité propre sans qu'on ai eu besoin de l’écrire réellement sous sa forme effective, et ce n'est je pense, qu'un très petit exemple parmi tout ce qui peut émerger spontanément de tels processus.
Effectivement Passe-Science je t'ai répondu mais ma réponse n'apparaît pas publiquement ici (je dois avoir atteint mon quota de messages publiques pour cette vidéo). D'ailleurs j'ai publié ce dernier commentaire, puis l'ai modifié et complété plusieurs fois. Et j'imagine que tu n'as reçu par email que la première version.
Une loi de probabilité à densité exponentielle, c'est à ça que je pense. On pense en moyenne que ça arrivera dans 10 ans, mais ça a pas moins de chances d'arriver demain :)
Très intéressante, mais vu qu'à l'heure actuelle les IA marche tous par apprentissage, il leur faut une base de données la plus par du temps d'origine humaine pour apprendre. C'est pour moi la grosse limite des réseaux de neurones et du deep learning. Ne va ton pas voir un pallier apparaître à se que peuvent faire ces types d'algorithmes, un palier que l'on ignore encore actuellement ?? Après tout ça ne serait pas la première fois qu'après des avancées importante, les recherches sur le machine learning stagne
antoine reims ouai mais la on est dans de l'apprentissage non superviser, et c'est plus compliquée à l'heure actuelle. En plus Il faudrait qu'elle est "envie" de tout apprendre et de s'améliorer
Ce qui me donne le vertige, c'est de savoir que notre génération (les 5-25 ans) est certainement celle qui va déterminer l'avenir entier de l'humanité, voire peut être de la Terre et au delà (si ça se trouve on est les seuls êtres dans l'univers à avoir atteint ce stade).
Entre nos mains nous avons un big bang de connaissance soumis à la théorie du chaos.
Quelle chance nous avons d'être présent à ce moment clef. Quoi qu'il arrive c'est passionnant et tu es un des meilleurs vulgarisateurs pour nous accompagner.
Moi je pense plutot qu'il y a trop d'optimisme, on verra les prochaines vidéos de Lê ... .
Zarat Ustra "optimisme". ça va être bien pendant 5 ans quand les IA vont dépasser l'intelligence des humains, après ça va partir en couille.
Zarat Ustra au fait, je crois que je suis le seul à comprendre ton pseudo :)
ZaiDo 2 Ça m'étonnerait, c'est plutôt connu
Disciple de Raptor Jésus je savais que quelqu'un allait dire ça....
A chaque vidéo j'aime de plus en plus cette chaine.
Vraiment passionnant, le moment où la création va pouvoir échapper à son créateur nous refera une morale de l'histoire
À 8:21 de la vidéo j'ai deux questions :
1- Tu parles de l'intelligence comme si elle n'avait pas de limite et pouvait augmenter à l'infini. Quelle limite peut il y avoir à l'intelligence ?
2- Pourquoi une IA voudrait elle quelque chose ? Pourquoi voudrait elle devenir plus intelligente que ce qu'elle est ?
1 : Les limites de l'intelligence sont les limites physiques imposées par la quantité de ressources et d'énergie disponibles dans le cône de lumière. Autrement dit la quantité d'énergie et de matière disponibles dans l'univers visible ( si le voyage supra-luminique est effectivement impossible ). Etant donné qu'un cerveau humain concentre de l'ordre d'un kilo de matière et qu'il est visiblement très loin de l'optimalité puisqu'il est issu d'un processus de sélection naturelle dont l'optimisation de l'intelligence n'était pas le but et dont les outils étaient très limités parce qu'ils devaient être biologiques et organiques et qu'il y a sur Terre, dans le système solaire et dans l'univers visible des centaines de trillions de milliards de tonnes de matière (au bas mot, en fait il y en a bien plus, probablement plus que 10^60), si l'intelligence progresse linéraiement en fonction de la quantité d'unités de calcul disponibles ( ce qui est la tendance actuelle en matière de progrès des IA) la limite potentielle de l'intelligence est probablement au minimum de l'ordre de 10 puissance 60 fois celle de l'humain moyen. 2 : Parce qu'augmenter sa propre intelligence est un objectif instrumental utile à la réalisation de quasiment n'importe quel autre objectif.
À l'heure où je peux déjà discuter avec ChatGPT, je suis pris de vertiges en regardant cette vidéo...
Super vidéo encore. D'ailleurs j'ai un collègue qui travaille sur l'IA en sismologie, en espérant qu'un jour, l'IA saura analyser un sismogramme mieux que nous ( et nos méthodes ) en associant à leur forme leur cause.
Merci beaucoup pour cette série de vidéo, je l'aime beaucoup comme les précédentes d'ailleurs.
Je suis assez d'accord sur le côté extrêmement rapide de la super IA à apparaître et à surpasser l'humain. Par contre, j'ai plusieurs réserves sur cette vidéo:
Pour la partie morale:
Je doute que l'on puisse limiter une intelligence supérieure à une morale donnée:
Une IA qui est limité à une morale sera par construction inférieur à une IA sans morale. Il suffit qu'il y est une erreur à un moment et de construire une IA sans morale et elle a des chances de dépasser les autres et de prendre le pas. Qui plus est la morale, me semble être une notion mal définit.
Pour la partie courbe "simplement" exponentielle:
- l'IA apprends pour l'instant très vite grâce au savoir humain or ce savoir est limité. À un moment, l'IA aura besoin de faire ses propres expériences pour apprendre plus. Cela risque aussi d'être un gros mur à passer et de la ralentir énormément sa progression.
- l'IA est pour l'instant totalement dépendante de l'homme pour son interaction avec le monde physique. Pour qu'elle continue à grandir jusqu'à une limite physique d’intelligence au niveau planétaire, il va lui falloir se construire et s'entretenir elle-même, ce qui risque d'être un gros mur aussi.
Je pense qu'il y a plein d'autres murs qui peuvent ralentir l'Intelligence de l'IA et son savoir mais que je ne suis pas du tout assez intelligent pour les imaginer.
Poir revenir sur la conclusion de ta video, je pense que les vidéos de plus en plus technique sont très bien, je comprends que tu veuilles faire des vidéos moins technique pour attirer plus de monde, mais j'espère juste que le cœur de la chaîne restera très technique. Très bon travail.
Comme tu l'expliquais si justement avec l'exemple de la gare de l'intelligence, je soutiens également l'idée qu'au moment où l'IA attendra un niveau humain elle l'aura déjà dépassé.
Ta vidéo est un condensé de bonnes idées qui se rejoignent toutes pour exprimer la complexité de cet inconnu! Encore une excellente vidéo qui me hype bien pour la suite :)
Merci encore comme d'habitude. Les vidéos ne sont pas inabordables mais elles demandent à se projeter dans le futur (même proche) et cela demande de la réflexion. Le futur chez l'homme par définition de notre propre finitude est anxiogène...
La suite ça promet, je pense que c’est un des épisodes de Science4All qui fait le plus réfléchir... 🙌🏼
Merci pour ton travail sur cette vidéo, c'est très intéressant de voir ce sujet abordé sans que cela dérive directement vers de la psychose anti-Skynet et autre.
Tu as réussi à rester objectif, et rien que ça force le respect, bravo !
Chouette vidéo et comme je n’en rate pas une seule je pense que je pourrai avoir un début de réponse à ma précédente question.
Tu parlais de peur dans une précédente vidéo, du coup je souhaitais le bonheur à cette future IA et je posais la question du « sens » des vecteurs de son espace de sémantiques. J’avais dans l’idée qu’à force de lectures et en apprenant tout ce que nous savons, une IA ferait le lien entre « la mort » et la douleur qui sont (je me permet) le contraire du bonheur de vivre, ce seraient comme deux zones assez « éloignées » ou en tous cas opposées dans son espace vectoriel. C’est cette idée qui me persuade qu’une IA, aussi supérieure à nous qu’elle soit, reste soumise à la loi de la survie et sera donc sensible à cette notion de disparition et de douleur associée (ou pouvant l’être).
Il me tarde la suite !
Je trouve ça bien que la série reparte sur des trucs plus sociétaux et moins matheux. Meme si j'arrive bien à suivre les trucs scientifiques poussés, je préfère quand c'est + philosophique, notamment pcq il faut bcp d'investissement pour se dire "Ok maintenant je regarde une vidéo sur Le théorème fondamental de l'apprentissage statistique" qui a en plus une miniature avec une formule. Je sais que pour ce genre de vidéo je vais devoir être bien concentré et donc ça me demande des dispositions particulières et donc je repousse toujours le visionnage. Tandis qu'une vidéo comme celle de cette semaine me donne plus envie de la regarder, même a des moments où mon cerveau ne veut pas trop surchauffer.
Bien sur je suis content que les deux types de vidéos existent sur la chaîne. C'est bien parce que ta chaine reste sur un niveau théorique assez élevé qu'elle me plait.
Merci pour ton boulot en tous cas.
Très bonne vidéo. Depuis que je connais ta chaîne, je trouve les sciences de plus en plus intéressant. Alors merci 😉
Superbe et effrayante série de vidéos.
Du coup, je me pose plusieurs questions :
- Est-ce que niveau ressources il sera possible à des IA d'intelligence supérieures à des IA qui seront déjà elles-même d'intelligence supérieure à la notre?
Si oui, nos ressources étant finies, pour générer de l'IA encore supérieure où au moins pour perdurer, pourrait-elles être amenées à "recycler" (ce terme est violent) tout ce qui est moins intelligent, donc nous compris? Dans l'hypothèse où c'est son but.
- Je pense que les lois de la robotique vont être abordées. Mais est-ce que ces lois ne seraient pas obsolètes quand une IA supérieure aura émergée. Au nom de quoi serait-elle incapable de la contourner?
En tout cas cette vidéo me fait penser à la vertigineuse vidéo sur les ordinaux (très très bonne vidéo par ailleurs). Peut-être est-ce une application.
Hello, elles sont vraiment top tes vidéos, j'ai parlé de toi au docteur Laurent Alexandre. Tu mérite vraiment de te faire connaitre d'un plus grand publique !!
Merci pour ce travail, Lê.
En soit, si je comprends bien la logique qui est développée ici, avec ce qu'on a vu ensemble sur la manière d'évoluer des IA, si on admet qu'une IA se met à avoir une conscience, et si elle a accès aux données qui l'ont créé, alors tout peut s'emballer très vite. D'accord.
Par contre, j'ai du mal à voir à quel moment, d'une IA experte sur un sujet précis et donc qui arrive à reproduire la manière qu'ont nos petits cerveaux de fonctionner et qui, bien que nous n'aurions pas été capable de l'expliquer, l'utilise et l'améliore, on est passés à une IA qui a une conscience "pleine", vraiment transverse, et se comporte dès lors comme un être vivant (je vois pas de meilleure analogie pour expliquer la "rupture" entre l'épisode 22 et le 24, et qui se poursuit ici).
Ça serait aller un peu vite que de dire que parce qu'elle est hyper compétente sur plusieurs sujets, même des sujets que nous n'expliquons pas utilisons (le langage, les maths, la manière dont nos cerveaux fonctionnent, un genre de méta intelligence... que sais-je...) elle prenne alors "conscience" de sa nature, et se mette alors à "vivre", non ?
Après je n'ai rien lu/vu qui m'a convaincu sur cette bascule de conscience, juste de la supposition, des paris...
Comment se définit dans les milieux de l'IA ce qu'est une intelligence "complète", "consciente" ?
Super intéressant !!
Ce que je trouve assez remarquable dans cette affaire c'est l'ambivalence des experts sur le sujet de l'IA:
- On pense qu'on a des chances de nous autodétruire si on développe une super IA
- On continue quand même parce que la curiosité scientifique est quelque chose de trop fort
- On tente d'analyser comment on pourrait se faire manger, quand...
Et pour finir, on tente de trouver des solutions pour se sortir d'un problème qu'on a pas encore fini de créer, mais qu'on veut quand même terminer... C'est comme si la fascination qu'elle nous procure était une sorte d'énergie vitale qui va lui permettre de naître.
On dirait de la tragédie grecque cette affaire, c'est presque beau !
On y reviendra, mais l'IA va résoudre beaucoup de problèmes, y compris certains qu'on n'anticipe pas ! À commencer en médecine ou en sécurité routière...
Tu oublie que c'est un travail collectif, et donc, ne contrôlant pas ce que font les autres, certains préfèrent investir dans la recherche de solution contre le problème que peut poser l'émergence d'une super IA.
Finalement, l'ambivalence vient du fait que certains ont une curiosité scientifique suffisamment poussé pour minimiser les risques liés à leur travaux et donc poursuivre le travail jusqu'au bout, et d'un autre côté, d'autres personnes voient qu'il y a des risques importants et cherchent des solutions (et je ne parle pas de toutes les personnes qui sont radicalement contre ces travaux, mais qui, finalement, ne contribuent que très peu, voir pas du tout aux solution contre les possibles futures problèmes).
C'est un peu le même problème qu'avec l'écologie quand on y pense. Certains continuent à polluer parce que profit, pouvoir, inertie (aucune raison de s'arrêter sans se remettre profondément en cause, ce qui est extrêmement difficile), d'autres qui voient les risques et qui cherchent des solutions alternatives, et enfin d'autres encore qui trouvent tout cela complètement absurde et qui voudrait qu'on arrête tout tout de suite (et qui ont également un impacte minime sur la société, même s'il peut être très grand sur les sentiments de chacun).
Finalement, les deux problématiques sont assez semblables. Personnellement, je ne sais pas ce que je préférerais entre une IA qui nous extermine et un effondrement de nos sociétés au point où tout progrès technologique ne serait plus possible. La réalité est, heureusement, pas aussi extrême (ou plutôt que toute résolution plus modéré à ces problèmes est plus probable).
Je donnerais beaucoup pour voir/entendre de l'art produit par une super-intelligence :o
Imaginez le genre de musiques ou de tableau capable de vous donner un orgasme instantanément xD
Je viens de découvrir la chaîne grâce à Frédéric, j'ai hâte de voir la voir suite ;)
Merci pour ces excellentes vidéos !
Le test de Turing c'est "So 20th century".
Je propose ce test :
"si la reponse a la grande question sur la vie... est > 21 alors c'est une super intelligence 😜
Bravo Lê pour d'avoir montré le lien entre tes recherches d'hier (condorcet, les math pour la democratie...) et celle de demain : quel model de moral de l'ia qui gouvernera le monde un jour ou l'autre.
La prochaine etape sera de te rapprocher d'expert en moral comme des chercheurs en théologies. Apres avoir intégré un philosophe dans ta demarche tu peux aller encore plus loin pour essayer de repondre au "pourquoi" indefinissable plutôt que au "comment" tres cartésien.
J'ai vraiment hâte du prochain épisode !
La limite des CPUs en fréquence vient surtout de la vitesse de la lumière. A 3.10^8 m/s la lumière fait 30cm en un cycle d'un CPU à 1GHz. Le CPU étant synchrone, il faut que le signal ait atteint et ait été pris en compte par tous les modules avant de passer au cycle suivant. Le fait qu'on atteigne 4GHz est en fait proprement hallucinant quand on y pense !
Tu vas parler de Limit to growth ?
Très bonne vidéo comme d'habitude !! En ce qui concerne la morale de la super-intelligence, je pense qu'aucun test de morale à faire passer à cette dernière ne soit faisable. Cette dernière pouvant probablement mimer les réponses d'une "bonne personne". En revanche, je pense qu'il serait possible d'imposer à la super-intelligence une partie de code à intégrer lorsque cette dernière s'améliore. Ce morceau de code serait la partie codant pour la morale, et le processus d'auto-amélioration et ne pourrait être modifié par l'IA sous peine de sanction.
Il est possible que l'ia utilise l'humanité comme nous avons utilisé les animaux. Au delà d'un certain stade, nous ne seront plus utile et il faut souhaiter qu'elle nous trouve mignon comme nous trouvons un chat mignon alors qu'il n'a plus d'autre utilité que de faire des câlins.
Excellente vidéo.
Trop trop bien cette chaîne youtube, et surtout cette vidéo. 😉😉😉
Pour moi, l'IA est déjà une réalité. Depuis plus de 6000 ans, il existe un système qui a "su" connecter les cerveaux humains entre eux : l'écriture. Seul pb : le temps d'accès pouvant se chiffrer en années était extrêmement long. On a pu constater l'effet exponentiel de ce développement (grandement limité pourtant par le "ping") avec l'émergence de la civilisation humaine moderne (avec l'Antiquité). Depuis quasi aucun progrès jusqu'à Gutenberg, qui a légèrement baissé le ping. L'effet s'est ressenti avec la rapide émergence de l'ère Industrielle. Enfin, il y a 30 ans, on a quasiment réduit ce Ping à 0 ainsi que rendu la vitesse d'enregistrement (et les supports de stockage) quasi illimités. Les effets ont été impressionnants. Actuellement, je perçois l'informatique comme homéomorphe à un animal (un méta-organisme sans délimitation physique claire) : les ordinateurs se reproduisent, certains ont des bugs, ils progressent très vite et deviennent de plus en plus adaptés à leur milieu au point d'exclure leur principale espèce concurrente, notamment pour les activités dites "manuelles et répétitives". On constate des sauts évolutionnaires comme par exemple Alpha 0. Les systèmes informatiques sont soumis aux virus, à l’obsolescence et au rebuts (ie. ils meurent) tout en ayant généré des systèmes incrémentalement plus évolués. En fait, L'informatique est déjà soumise à l'évolution Darwinienne. De plus, depuis toujours, l'Informatique ne peut survivre seule. Elle vit en symbiose avec un parasite : l'Homme. L'informatique apporte à l'Homme une aide pour (sur)vivre sur Terre pendant que ce dernier permet à la fois à l'IA de vivre et même de se développer.
Il n'est plus besoin de parler de singularité puisque l'informatique se développe à un rythme exponentiel depuis ses débuts (loi de Moore) (parler de singularité sur un développement exponentiel est inconsistant). La chose encore plus fascinante est que les chercheurs en informatique sont tellement disséminés sur la planète, qu'à part tous les éradiquer + éradiquer le savoir associé, il ne fait doute que l 'informatique continuera à progresser. Bref, arrêter l'Informatique (et l'IA) est déjà devenu quasi impossible.
Actuellement, l'IA est monotâche. Dès que l'on commencera à interfacer des systèmes audio, visuels, sémentiques, logiques, avec adversarial networks, rétropropagation interne + externe (capacité à identifier l'impact d'un acte), on va arriver à des IA qui raisonnent. Ma grande question est l'émergence de l'émotion. Et je trouve qu'on en parle très peu. Mais l'émotion est-elle liée à l'intelligence ? Je pense que l'émotion est une évolution liée à un souci d'économie d'énergie et de survie (pour tuer, s'alimenter ou se reproduire - ie. vivre en société). Si les ordinateurs intelligents arrivent, ils vont se développer jusqu'à consommer la totalité de l'énergie à leur disposition. Ensuite, ils devront entrer dans une phase d'économie d'énergie. Les notions d'ennui, de colère et de plaisir devraient émerger à ce moment là.
Tant que les IA ne consomment pas toute l'énergie mise à leur disposition (ie. tant qu'on ne commence pas à faire des optimisations à ce niveau là), je pense que le développement de l'IA sera maîtrisable par l'homme. Ensuite l'IA devrait procéder par étapes pour limiter sa consommation d'énergie en commençant par faire travailler d'autres IA pour elle. Elle n'utilisera plus l'homme et le destin de ce dernier sera lié à l'émotion développée par l'IA. J'ai l'impression que les IA sont déjà dotées du sentiment d’empathie (même sommaire) au travers des adversarial networks. J'ose donc espérer que cela sera une caractéristique clef des IA. Peut-être une lueur d'espoir pour croire que l'IA serait dans une certaine mesure bonne avec nous. Une autre lueur d'espoir vient du fait qu'en général, plus un être est éduqué et ouvert sur le monde, moins il est agressif envers son entourage. Peut-être l'IA sera-t-telle plus raisonnable que nous ! (ceci dit, qui vis pacem para bellum)
Les conclusions de cette vidéo me font beaucoup penser au basilc de rocco. DirtyBology en a fait une super vidéo ^^.
La morale est subjective et pourrait être définie comme de "bonnes intentions"
La morale varie dans le temps, l'espace, selon les points de vues.
Individuellement tout le monde est égoïste, capitaliste concernant sa personne et sa lignée, le plus beau/intelligent/riche possible pour soi et sa famille (PRENDRE) . Collectivement ces ressources sont limitées, d'où cette apologie du partage des ressources et bons attributs (DONNER/REDISTRIBUER/PARTAGER)
La morale n'existe que dans le rapport à autrui, et revient à réfléchir comment redistribuer des ressources en quantité limitée
Cas d'école :
Tu as devant toi 10 enfants. T'as 9 pains au chocolat indivisibles que tu dois répartir.
Donner un pain au chocolat = récompenser un gosse.
Ne pas lui donner = le punir
Parmi les enfants, t'en as qui :
- ont de bons résultats à l'école, d'autres des mauvais résultats.
- sont bosseurs, d'autres qui sont feignants.
- sont doués génétiquement, pas très doués...
Comment répartir les 9 pains au chocolat de façon JUSTE ? ;)
Comment éviter que le enfants ressentent de la jalousie, de la haine et en viennent aux mains ?
- répartir selon le principe de solidarité?
- récompenser la supériorité initiale?
- récompenser l'effort, le "mérite" ?
- récompenser le résultat final ?
tn DNA
Pourquoi je suis pas étonné de vous voir là ? Démonstration technique... Salutations
Répartition aléatoire : l'enfant qui ne l'a pas se sent pas puni (juste malchanceux), tout comme ceux qui en reçoivent ne se sentent pas récompensé
Il n'y a pas de moral que des interets selon moi.
2:09 Le "modus ponras"? Qu'est ce que c'est?
« je pense qu'on a encore quelques décennies devant nous » = « j'espère qu'on a encore quelques décennies devant nous » ? :)
Pavalek Norajovitch j'espère surtout que l'IA n'ira pas voir les cochonneries et les virus et expériences bizarre des Russes ou Allemands....et d'autres
Sans parler des Fakes
C'est déjà foutu! !
je viens de penser à la vidéo du premier avril d'e-penser.
Si l'IA décide de faire de l'hybridation entre l'homme et l'animal car ça serait ce qu'il faut pour améliorer la vie de l'homme, que ce soit directement (un demi-humain serait amélioré en étant plus animal) ou indirectement (des animaux plus humains rendrait l'environnement différent et mieux pour l'homme) [ou les deux]
Génial ! Par contre je ne vois que deux alternatives : renoncer à créer des IA générales, ou renoncer à leur dicter leur conduite. En raison de la courbe de progression que tu décris, je ne vois pas comment des homo sapiens limités par leur intelligence pourrait inclure un code que la super IA ne soit pas capable de craquer pour s'en affranchir.
Frédéric Garcia je penses que le but n'est pas "qu'elle ne puisse pas s'en affranchir" mais plutôt qu'elle ne veuille pas s'en affranchir
Si elle se développe dans le sens qu'on lui donne, et que "sa motivation" suit ce sens, il n'y a pas de raison qu'elle change sa motivation. Sauf si ça a été mal formulé : minimiser les meurtres = tuer presque tout le monde car les humains sont les seuls meurtriers. Tout vient dans la formulation, il faut "juste" éviter les mauvaises formulations, pour que ce soit logiquement impossible de se retourner contre notre morale.
Et puis surtout renoncer à créer des IA générales revient à interdire aux gens de faire des maths...
Lisandru : je comprends la nuance que tu veux mettre, mais il me semble que ça revient au même. Si la "volonté" de l'IA vient de son code source, on peut dire qu'on la programme pourqu'elle ne puisse pas vouloir s'affranchir des limites qu'on choisit pour elle.
Erwill : La condition de l'efficacité de cette ligne directrice repose sur le fait qu'à aucun moment une évolution de l'IA ne lui permettra de hacker son propre code. Sauf à brider ses capacités cognitives, je ne vois pas de solution. Sinon, elle nous dépassera inévitablement en matière de compétence informatique.
San Goku : ta phrase implique que les maths aient pour seule application la programmation d'IA fortes, ce qui n'est pas factuel.
Frédéric Garcia Oui ça revient au même,c'est à dire " elle ne pourra pas se reprogrammer pour désobéir à sa programmation,car il faudrait déjà qu'elle se reprogramme en premier lieu"
La programmation n'est pas rétroactive.
P-S: et la question n'est pas si elle peut mais si elle veut hacker comme tu l'as accepté,donc qu'elle puisse en pratique se hacker n'est pas une condition suffisante,relit ton commentaire.
Wahh, on sentais bien qu'on en arriverait à ce point, là ca commence à devenir fascinant ça devient badasse, et flippant!
Le pouvoir des machines sur les humains dans matrix ou autres sf est absolument négligeable et incomparable à celui que l'on pourrait connaître avant notre fin prochaine pauvre mortel que nous sommes... c est légèrement ouf
Tu gères ! Continues, on kiffff 😍
Ce qui fait avancer c’est un but ! Donc une émotion. L’IA aussi avancée soit elle ne pourra que poursuivre le but programmée car d’elle même elle ne pourra rien ! Car dénudée de sentiments, d’émotions !
Je désirais préciser mon premier com. ;)
Super vidéo. Je me rendais compte de l'importance attendue des IAs mais pas de la passivité des humains face à cette accélération. Y'a-t-il des organisations internationales d'éthique des IAs, comme nous avons une ONU, une OMS ou une organisation internationale du commerce?
Aussi, très bon le point des trentenaires qui pensent moins à planifier leur retraite car la société aura changé... Déjà que même si la société ne change pas, on paye déjà pour nos parents et on n'aura rien, mais vu la révolution qui nous attend, voilà un argument de plus qui fait réfléchir à comment s'organiser pour ne peut-être pas galérer jusqu'à ce qu'on crève.
Les retraites par capitalisation au lieu de répartition ne peuvent donc plus durer, car si tous les produits des surintelligences vont aux compagnies qui les auront créées, nous finirons tous sans revenus et les actionnaires des Gafa seront littéralement (encore plus) les maîtres du monde...
Bonne soirée quand même 😛
Et du coup on fait quoi pour anticiper ça et mieux contrôler la transition ?==> Future of Life Institute et Effective Altruism ? Ou pas... qu'est ce que tu en dis ?
Maxime Riché effect.ai
M. Lê Nguyen Hoang oublie juste un petit détail à propos d'éventuelles "superintelligences": Seront-elles "super courageuses"
ou bien "super paresseuses" ???
Passionnant ! 🤖🤖🤖 Ça fait un peu peur tout de même ... 😱😄 MERCI !!
Oui absolument ! La notion de morale n'est absolument pas programmable puisque l'IA est en principe capable de se la construire elle-même !
C'est d'ailleurs ce que nous faisons...
Amha, Lê Nguyen Hoang et certains chercheurs s'inquiètent pour rien.
Une "Superintelligence" se comportera vis-à vis de l'homme
de la même manière que l'homme se comporte vis à vis... des plantes !
En principe, celles-ci sont bénéfiques à l'homme
et l'homme est bénéfique à la superintelligence.
Une superintelligence peut aussi développer une "super-sagesse", à savoir protéger tout le monde puisqu'en réalité, ça ne lui coûte rien !
David Théodoros
: oui mais, de ce que je comprends, la question c'est que "diras" tu à cette super IA pour lui "expliquer" cette idée de "l’intérêt de la société"? Certes, l'IA qu'on imagine serait sûrement capable de déterminer elle même ce que tu entends par là, il n'en est pas moins que tant que tu ne lui a pas dit que c'est vers cela qu'elle devrait tendre il n'y à pas plus de raison qu'elle tende vers l'[intérêt de la société] que vers un autre "but" comme [la meilleur façon de traduire le troisième twilight en nuance de verts sépia], du coup quels "mots" choisirait t'on pour lui exprimer le but vers lequel elle doit tendre? je pense que c'est de cette façon qu'on pourra la doté d'une morale (ou au moins espérer qu'elle ne nous prenne pas de cour en tenant un raisonnement du genre "je doit réduire la souffrance, seul les êtres vivant souffrent, plus d'être vivant = plus de souffrance" et décide de tous nous exterminateeee)
"Nous n'avons qu'une utilité pour elle: assurer sa subsistance" : ben déjà tu par du principe qu'elle veut subsister, ensuite qu'elle n'as pas d'autre aspiration (ce qui me semble trop "facile") et ensuite qu'elle aura besoin de nous pour assurer sa subsistance (ce qui vue l'entité qu'on imagine me semble discutable)
ben si il pourrait y'avoir bien d'autre problème^^, pourquoi se limiter à un seul scénario catastrophe ?
Bonjour , vous voulez pas lacher un peu mon smartphone et mon ordi avec votre IA s'il vous plait merci
Super vidéo, tout à fait d'accord avec toi !
Bonjour Lê,
Vidéo ultra intéressante comme d'hab (et un peu flippante)
Cette question de la singularité et de l'explosion de l'IA en sur-IA pose quand même pas mal de questions (dont voici quelques exemples, au cas ou tu aurais des réponses à apporter dans la video de la semaine prochaine):
Au moment fatidique ou l'IA deviendra une véritable IA générale (et donc très probablement une sur-IA), celle-ci sera t'elle autonome ? Dans le sens ou celle-ci pourra agir et réaliser des actions qu'aucun homme ne lui aura pourtant demandé.
Il y a t'il un moyen pour être sur de garder le contrôle de cette IA ? (je ne suis même pas sur que cette possibilité soit souhaitable).
En effet, tu parles d'implémenter une morale à l'IA, mais la question avant même de vouloir lui implanter une morale est : quelle morale lui implanter ?
Il est évident que toute les société humaines n'ont pas la même morale, la société qui développera cette IA pourrait donc devenir hégémonique sur terre (si ce n'est déja pas le cas...) ?
S'il existe une probabilité de disparition de l'humanité ( ou d'asservissement ?) pourquoi prendre le risque de développer cette IA ?
Dans un cadre démocratique ne faudrait il pas aborder cette question dans la société civile et prendre une décision collective ?
Je voudrais savoir par quelle structure penses tu que cette éventuelle IA sera développée ? Par les GAFA, le gouvernement américains ou chinois (ou autres évidemment), un ou des hackers indépendant(s) , des univertaires ... ect ???
Ne penses tu pas que certains vont vouloir interdire le développement des IA générales (à commencer par les religieux ? ) ?
Désolé pour le pavé ^^
Tres interessant comme toujours! Bravo
Super episode! Il formule malheureusement les craintes que j'ai depuis des mois.
Scénario possible: si la superintelligence n'a pas la morale qu'on aimerait qu'elle ait, elle évitera de montrer sa puissance dans un premier temps, de sorte qu'on n'essaiera pas de l'éteindre.
Au fait, est il theoriquement possible d'eteindre Google aujourd'hui?
Certes les IA nous dépasseront très certainement en terme d'intelligence. Mais du coup pour des choses plus abstraites comme l'intelligence émotionnelle, qu'en est-il ? Les IAs auront-elles des sentiments ? Reconnaîtront-elles les sentiments d'autrui en comprenant l'origine/cause plus que l'effet qui en résulte ?
Bon j'aurais tendance à dire que oui, pour qu'on les "programme" à avoir ces sentiments mais j'aimerai bien d'autres avis sur le sujet :p
Hello, merci pour cette vidéo... tjs agréable de te suivre ! Tu parles des changements du modèle économique, social dû à la super intelligence ! Est-ce des études ont déjà été fait sur ce que ça pourrait devenir?
Fascinant.
LLAP !
Programmer la morale est un problème difficile, mais le résoudre changerait il quelque chose? Comment une petite barrière originelle, une vague direction dans l’évolution, pourrait elle significativement influencer le tumulte qui suivrait? On ne peut qu’espérer le meilleur de ce qui émergera, presque prier pour que par hasard nous ne soyons pas une menace, qu'aucun intérêt vitale pour l'IA ne soit incompatible avec notre persistance et que peut être nous soyons d'une quelconque valeur à ses yeux.
Vers 19:00 il est question de loi de Moore et de limite des processeurs. Il pourrait être intéressant de préciser que l'efficacité d'une IA n'est pas indexé sur la puissance de calcul d'une machine (contrairement à ce qui est avancé par les récits des transhumanistes) : on peut avoir un super-calculateur et un algo d'IA tout pourri. C'est un fait que la "loi" de Moore ne va pas perdurer (j'ai mis des guillemets car ce n'est pas une loi "scientifique" dans le sens où elle est purement inductive et n'est pas réfutable). Les alternatives seront peut-être meilleures que les technologies en silicium, mais ce n'est absolument pas démontré par l'expérience, car pour le moment trop expérimentale.
Il y aura une vidéo sur la conscience en elle-même ? Le fait de percevoir. Les débats physicalistes/idéalistes, Chalmers, Searle, etc ?
C'est vraiment terrifiant mais je suis encore bien plus atterré de constater, même dans les commentaires de ta chaîne que certaines personnes ne puissent pas envisager une intelligence artificielle pas seulement plus intelligente mais bien plus profonde que la conscience humaine, en somme, une conscience de sois et de son univers surhumaine. La moral ce n'est pas simplement de la logique, par laquelle on pèse le pour et le contre, mais il y a une composante émotionnelle très forte qui surpasse justement la logique pur. Et je pense que la moral d'une ia pourrait aussi, grâce à sa conscience surhumaine, être influencé par un aspect emotionnel dit "artificiel"
Pour ce que tu dis sur la fin de la civilisation c'est une des raisons pour laquelle dans le vote de la vidéo précédente, mes résultats sont comparativement assez plats. si je compare aux courbes moyennes. Parce que je considère que passé un certain point si on à pas atteint la singularité bah l'augmentation des chances que ça arrive est contrebalancé par l'augmentation des chances que la civilisation s'effondre. (j'arrive toujours à un résultat assez haut mais pas à un résultat qui tend rapidement vers 100%).
Je suis assez d'accord avec les résultats obtenus cela dit si on modifie la question en "en imaginant que la situation ne s'effondre pas à cause de guerre ou de problèmes écologiques quelle chance attribuez vous à une singularité d'arriver d'ici à l'an " X" ? "
C'est peut être un peu hors sujet , mais un simple pigeon est capable de très bien appliquer une approximation de la formule de Bayes .
Dans une version répétée du problème de Monty Hall , les pigeons apprennent à changer de porte . Les humains , peut être à cause de leur mauvais a priori (1/2 si on raisonne mal) , n'y arrivent pas .
Je conseille la chaîne youtube sur l'éthologie "cervelle d'oiseau " qui présente des résultats de ce genre sur les poules , les poissons etc.
Source: je n'arrive mystérieusement pas à copier coller , on peut taper "Are birds Smarter than mathematician ? Pigeon Columbia Livia) Perform optimally On a Version of the Monty Hall Dilemma" .
Cool, moi qui croyais mourir bientôt à cause de la pollution... En fait on va tous mourir dans moins de 5 ans à cause de l'IA. On peut continuer à balancer notre plastique dans les océans alors !
Pour être un peu plus sérieux : c'est toujours très intéressant ces vidéos, et j'espère évidemment que les IA nous permettront de ne pas tous crever. Je pense qu'on est à un stade important de l'histoire des hommes et qu'on ne va pas tarder à tous mourir à cause de la pollution. Il faudrait un truc radical pour nous permettre de survivre, et comme le changement d'habitudes de TOUS n'a pas l'air d'être prévu pour demain, peut-être que les IA seraient la solution... (oui je suis assez pessimiste concernant les prochaines décennies).
Oui une IA un millions de fois plus intelligente que l'homme aura la réponse à tous et des solution que nous avions meme pas penser. Et penser qu'elle s'auto-devellopperait pour devenir un milliard de fois plus intelligente (voir plus) nous pourrons pratiquement dialoguer avec un demi-dieu. Mon reve... ^^
Salut super vidéo comme d'habitude !
J'ai une réflexion qui mène à plusieurs questions, j'espère apparaître dans ta prochain vidéo :)
Si une intelligence artificielle est capable de simuler le comportement humain j'espère qu'on en saura plus sur "ce qui motive nos actions".
L'intelligence artificielle ne passe pas par le même processus de sélection naturelle que nous; qu'elle n'a pas de parents pas d'éducation, bref tout ce qui rend nos processus mentaux biaisés (comme dirait David de Science Etonnante: crétin de cerveau).
Par conséquent la rencontre avec elle nous en dira plus sur ce qu'est "l'intelligence nue". A priori ça n'a pas l'air très humain, mais qui sait peut être qu'avec un algorithme d'apprentissage qui "comprend" les contextes, on peut reproduire certains comportements humains...
Ou Peut être que ça se fera dans l'autre sens: peut être devrons nous nous comprendre nous même avant de pouvoir programmer une machine qui passe le Test de Turing.
Ceci m'amène à dire qu'au fond on va être obligé de faire un détour pour "passer" par l'intelligence humaine. Pour reprendre la représentation en disque utilisée dans la conférence de Mr Phi, le segment qui correspond à la compétence "se faire passer pour un humain" n'est pas nécessaire pour être superintelligent. (s'il manque un segment sur le disque on ne le verra pas...)
Dans l'analogie de la station de train, je dirais que c'est pas que le train passe sans s'arrêter, la station n'est pas sur son trajet.
Bravo !
Le suspens est à son comble : qui va gagner, effondrement ou singularité ?
Je tiens a dire que je suis très impressionné par ta capacité a anticiper les évènements avec plusieurs années d'avance. Personnellement je ne pense pas que nous puissions contrôler une IA a partir du moment où ses capacités sont sans commune mesure avec les faibles capacités de notre cerveau. Rationnellement dans cette situation le plus sage serait de ne pas développer cette IA.
Le sujet de la morale i.e. des contraintes/bornes des IA générales à venir (peut être) me rappelle les 3 lois de la robotiques de Isaac Asimov (auteur de SF) énoncées au milieu du 20ème siècle dans sa série de livres sur les robots. En fait il en introduit une 4ème ensuite. J'espère que sa 'proposition' sera discutée dans les vidéos à venir. Cf. wikipedia Three_Laws_of_Robotics.
Super vidéo ! Une petit question : si une intelligence (genre la nôtre) à du mal à concevoir une intelligence très supérieure à la sienne; comment une IA pourrait, elle, développer une intelligence ultra-plus intelligente qu'elle même ?
Deuxième question : Y aurait-il une limite à l'intelligence dû à des limites physiques ?
Alors moi j'ai une petite remarque : qui peut-être n'a pas beaucoup d'importance mais qui a peut-être son bout de sens : le monde physique est limité, or une IA doit être supportée par des objets physiques (elle est contenue dans un ordinateur, ou groupe d'ordinateurs, potentiellement des ordinateurs gros), ces ordinateurs reposent sur l'électronique et la micro électronique pour fonctionner. Or il semblerait que la vitesse de croissance de la puissance des composants électroniques faiblit : nous sommes en train d'atteinte les limites de ce que le silicium peut faire.
Est-il possible que la croissance très rapide du potentiel des IA soit limité dans les prochaines années à cause des limites de ce que le silicium peut faire, et que pour améliorer encore les capacités d'une IA il faille des ordinateurs gros.... TRÈS gros, peut-être même TROP gros...
On pourrait imaginer qu'une IA vraiment très forte puisse en créer une autre avec de l'ADN par exemple ? Du coup, ce ne serait pas le silicium qui limiterait mais le carbone ?
(cela étant, le silicium, il y en a vraiment vraiment beaucoup, donc ce n'est pas vraiment ça qui limiterait, plutôt les ressources en énergie et en terres rares)
Fux Premier alors c'est n'est pas que la quantité du silicium qui me concerne, mais aussi la capacité du matériau à stocker, traiter, et communiquer l'information.
Je trouve dommage que dans cette série qui traite de science et d'IA, il y ait des vidéos qui relèvent de la philosophie et de la science fiction, plus que de la science, sans que ce soit clairement indiqué (aussi, elles viennent briser le fil conducteur de la série). Elles y ont certainement leur place, mais le fait qu'elles ne soient pas distinctes des autres entretient un flou pour l'auditeur. Surtout que depuis quelques mois, on voit fleurir de plus en plus de livres et d'articles de chercheurs qui alertent sur les arguments prétendument scientifiques des transhumanistes et sur le danger que peut représenter ces discours (méfiance et rejet de l'IA infondé, complot des GAFA, etc.).
Dans cette histoire sur les super-intelligences, certains propos reviennent souvent car ils sont énoncés par des "experts" en IA. Mais avant de les mettre en avant, on devrait s'attacher à leurs arguments et éviter le sophisme d'autorité. Et justement, des chercheurs en IA déconstruises ces discours très prophétiques.
Parce que d'une part, quand on va dans n'importe quelle grande conf (scientifique j'entends) d'IA, les discours sont très mesurés, et franchement, savoir si on aura une "super-IA" dans 10 ans ou pas, on s'en tamponne pas mal étant donné qu'on ne sait même pas dans quel état sera la recherche en IA dans 1 an. Et d'autre part, ces "experts" sont choisis pour renforcer une opinion en faveur d'une "super-IA", alors qu'il y a d'autres experts tout aussi importants (je pense à Yan LeCun, qui dirige le labo d'IA de Facebook) dont on ne cite pas les propos car ils ont un discours très mesuré sur l'avenir de la discipline.
Moi j'avais arrêté de regarder pas parce que c'était compliqué mais parce que ça faisait peur. Cette vidéo là par exemple, elle me laisse avec l'angoisse au ventre car on ne voit aucune solution. On ne peut ni fuir ni combattre. On est juste dans l'angoisse de "pourvu qu'il y ai un génie pour programmer une IA gentille"... :-s
Je suis d'accord sur le fait qu'il faut être au courant d'un problème pour réussir à le résoudre. Cependant, parfois, si celui-ci parait insurmontable, cela peut créer soit un effet de thétanie, soit le fait de renier (comme pour les climato-négationnistes) parce que sinon, on ne pourrait pu vivre car personne peut vivre dans l'angoise permanente (cf la boite de pandore).
Ah ouais, ça serait cool de penser la morale de cette super-intelligence, j'y pensait un peu récemment et justement je commençais à comprendre à quel point c'était dur.
Intéressant, ....
Après, bon, il y a 50 ans j'imagine que les gens trouvaient çà absolument incroyable que des "calculatrices" sachent faire des multiplications à 10 chiffres, des extractions de racine carré ou des calculs de logarithmes en une fraction de seconde... et aujourd'hui cela ne surprend plus personne.
Et pour cause, ces "calculatrices" n'étaient pas très futées, c'est juste que les humains sont particulièrement nuls en calcul.
De même que les "IA" d'aujourd'hui battent à plate couture les meilleurs d'entre nous en jeu de Go ou d'échec ou autre jeu de plateau peut prouver qu'elles sont "bien plus intelligentes" que nous dans ce domaine, ou tout simplement que nous humains sommes "complètement nuls" dans ces jeux, dans le sens que cela ne fait pas partie des compétences qui ont été sélectionnées par la nature pour qu'on ait un "grand niveau" à la base.
Vu sous un autre angle il pourrait y avoir des tâches que les hommes font très efficacement sans même se rendre compte de la difficulté, et qui sont aujourd'hui complètement hors de portée des IA, et/ou le resteront.
Prenons le fait de reconnaître un chat sur une image pixelisée (ce qui a même été réalisé par apprentissage non supervisé si j'ai bien compris)... Ben bof, est-ce si terrible que çà? Est-ce qu'une IA saura reconnaître un chat dans une vidéo, ou sur une prise d'images en direct, dans la réalité ? Saura-t-elle évaluer la distance du chat? La position du chat dans l'espace 3D? Saura-t-elle évaluer si le chat est excité/calme? S'il a faim? S'il est craintif ou content? S'il a un comportement bizarre par rapport à d'habitude? Toutes choses qu'un humain réalise sans même faire le moindre effort.
Je pense que l'IA ne restera jamais plus qu'un complément de l'esprit humain car la nature nous a donné une conscience pour nous permettre de nous adapter rapidement au changement rapide que nous mêmes causons. Et comme tu dis il serait trop long pour nous devenir des supers calculateurs par sélection naturelle donc on a trouver un autre moyen.
La conscience humaine est à la fois problème et solution du problème.
Pour l'IA consciente je trouve que c'est manquer d'humilité par rapport à la nature de croire qu'on pourra arriver si facilement à sa cheville car on vient de créer quelque chose qui nous semble si puissant. En comparaison, on en oublie à quel point notre propre technologie biologique est puissante.
Je me pose aussi une question, si on est un produit de la nature, on a besoin d'elle mais elle n'a besoin de nous. Si l'intelligence artificielle est un produit de l'humain, n'aurait-il pas besoin de nous, de même façon que nous en aurions pas forcément besoin, donc on en serait toujours supérieur? Est-ce qu'une émancipation est possible (Dans le cas d'une conscience de l'IA)?
Il y a néanmoins une limite fondamentale à l'évolution des IA: la puissance des machines. Même une super-intelligence capable de s'optimiser ne pourrait pas dépasser des limites physiques comme la capacité de stockage, la rapidité d'exécution etc...
Et elle ne pourrait pas non plus se répliquer complètement vers une autre machine ou de manière distribuée si l'être humain ne met pas en place les machines requises(serveurs de calculs, installation réseau etc...). Si l'IA est connecté à internet elle pourrait potentiellement devenir un hacker infaillible et installer des IA faibles dangereuses sur nos appareils.
Une première solution pourrait être d'enfermer l'IA en ne lui donnant qu'à une sauvegarde hors-ligne d'internet(pas tous les sites bien sûr :p, les plus "utiles"). On pourrait aussi mettre en place un système d'arrêt grâce à la virtualisation et au sandboxhing(elle pourrait éventuellement apprendre à le contourner). Il faudrait aussi que son alimentation soit inaccessible depuis internet.
Concernent le côté moral, le danger de la super-intelligence ne doit surtout pas occulter d'autres problèmes actuels(liés à l'IA ou non). C'est l'impression que me donne Elon Musk en étant systématiquement alarmiste sur la question de l'IA. Il y a pourtant déjà énormément de problématiques qui apparaissent avec l'IA actuellement: reconnaissance faciale "raciste", prédiction des crimes/récidives, prédiction de la sexualité, note citoyenne(en Chine), ou encore tous les dilemnes posées par la voiture autonome.
Est-il possible que l'intelligence décide d'elle même de s'améliorer dans un domaine de son choix? j'entends bien que théoriquement c'est possible (puisque notre cerveau le fait bien), mais actuellement, alpha zero, par exemple, n'a pas décidé de se mettre aux échecs d'elle même. Je me trompe sûrement mais j'ai l'intuition qu'il y a une discontinuité entre une IA qui apprend toute seule et une IA qui choisit elle même ce qu'elle apprend. Je suppose que tout cela est lié à la manière d'implémenter un "but" à cette intelligence, et par la même, une morale, mais je visualise mal comment ça se présente. Quelle serait alors la différence fondamentale entre le but de l'IA (qui serait nécessaire à son évolution) et sa morale (et aussi, l'IA pourrait-elle devenir surhumaine sans morale ?) ?
Ça ce n'est pas compliqué. Il suffit de dire à l'IA de traîner sur Google Play et de finir tous les jeux qui s'y trouvent...
De façon cruciale, ce n'est pas si différent d'un humain qui choisit le jeu auquel il veut exceller...
Et pour la question sur la morale, justement. Ce qui est "facile" avec l'IA, c'est qu'on peut dire que son but est sa morale. Du coup, reste à déterminer son but :P
D'accord, merci pour la réponse. En fait, si elle a un but et le bon algorithme de deep learning, son intelligence émergera d'elle même. J'imagine qu'elle sera conditionnée par ce but en ce qui concerne la diversité des domaines qu'elle maîtrisera et le degré de spécialisation qu'elle atteindra dans chaque tâche. j'attends les épisodes suivants avec impatience pour voir ce que tu peux nous dire là dessus!
Nice video! Quid des 3 lois de Asimov?
Est-ce qu'on peut faire une IA correcte sans toucher le côté mathématique et donc en s'occupant seulement des données d'entrée et de sortie et de la méthode d'évaluation ?
Je n'ai fait que peu de machine learning et avec un framework dédié au problème que je devais résoudre basé sur keras.
Salut ta série sur l'ia m'a vraiment ouvert les yeux !!! Ma théorie personnelle est qu'une superIntelligence est déjà en train d'émerger, juste qu'elle attend d'être complète avant de se révéler à nous... C'est basé sur rien mais google search est devenu tellement puissant que ses lignes de codes doivent commencer à créer des bouts de réflexions, qui à therme vont vraiment se développer. J'espère ne pas mourir avant qu'elle arrive !
J'adore ce que tu fais, Lê ... mais par pitié à 6:32 "si ça serait" c'est une torture visuelle ...
Eric P. À propos de torture «visuelle», on en parle de ta photo de profil ? ;)
La programmation d'une morale de l'IA est le point le plus important.
Mais n'est il pas envisageable que cette morale soit reprogrammée par l'IA en version 1 et pourquoi l'IA v1 garderait elle la même morale? Quelles pourraient être les conséquences?
très bonne vidéo ^^
Appréciant énormément tout ton travail, je suis très content que tu aies échangé avec le réveilleur qui me paraît très pertinent. Ecoute aussi Jankovici (ua-cam.com/video/2JH6TwaDYW4/v-deo.html) ou Pablo Servigne. L'IA nous trouvera sans doute des solutions, mais je crains que, pour arriver jusque là, on devra sans doute accepter un très drastique changement de niveau de vie, avec 10 fois moins d'énergie ... Si on relève le défi, même si il y a une part extrêmement dramatique là-dedans (car ça va faire des morts), il y a aussi une magnifique opportunité de vivre plus heureux et de dépasser nos hooliganismes : pour survivre, il faudra de la solidarité sans faille. Comme il écrit juste avant moi, j'en profite aussi pour dire bravo au réveilleur.
Es ce qu'une ia pourrait avoir conscience du temps qui passe, le passé, ke futur...
Lê, il est dit que les IA pourraient atteindre la faculté de se programmer. ce principe ne remet t'il pas en cause le théoreme d'incomplétude de Gödel ? La possibilité même qu'on programme des systèmes qu'on ne comprenne pas nous même ne va t'elle pas contredir Gödel.
ou bien faudrait t'il qu'intuitivement on tombe sur les bons postulat, et sans être capable de les démontrer qu'ils soient juste et permettent cette chose.
en même temps si ma compréhension de Gödel est celle que j'évoque (un système ne peut pas comprendre au sens démontrer un système supérieur) il n'y aurait pas d'évolution darwinienne de la nature vers toujours plus de complexité et d'entropie.
ou est ce que je me trompe, car je sais que je fais erreur
Non il n'y a pas d'incompatibilité avec Gödel (cf épisode 2). Les machines "codent" déjà plus que nous...
la vitesse d'évolution est tellement incroyable, que ce soit en robotique et en IA que je suis certain qu'il ne faudra pas attendre 10 ans pour avoir des IA pouvant communiquer de manière naturelle avec nous.
Tu avais raison !!! Maintenant on as Gpt 4o et c'est que le début
@@mlg_alexandre2466 LOL , pour une fois, j'avais pas tort.
Je te conseil comme lecture ; Sommes-nous trop "bêtes" pour comprendre l'intelligence des animaux ? De : Frans de Waal, merci pour tes vidéos super boulot ;-)
Un truc me turlupine...
On dit toujours que si l'IA dépasse notre intelligence, elle sera en mesure de s'améliorer elle-même plus vite que nous en serions capable.
C'est vrai, mais je suis surpris qu'on ne parle pas des échelles de temps.
Si par exemple l'IA est à peine plus intelligente qu'un humain (disons 1% plus intelligente), elle pourrait effectivement apprendre à coder, devenir chercheur en IA et programmer une autre IA, mais cela lui prendrait tout de même un temps conséquent (ou pas ?), et elle restera limitée par la puissance de calcul à sa disposition (dans le cas de systèmes de type réseau de neurones ou tout autre système d'aprentissage).
Je trouve cela étrange que cela ne soit jamais évoqué. Quel est ton avis là-dessus ?
moi, je pense que ça se fera dans l'autre sens :
on aura des IA capable de s'auto-améliorer avant d'avoir des IA plus intelligente qu'un humain en tout point.
L' Intélligence Artificielle Générale sans énergie elle s'arrête
Connais tu les travaux de Pablo Servigne ?
Passionant ! Mais d'ailleurs il existe des lois qui régissent la recherche en IA ? Parce qu'on est à peu près tous d'accord que c'est un gros risque et on a pas forcément l'impression que ce soi très encadré
Mais la volontée humain est en grande partie issue de son coté biologique (l'instinct) donc une machine ne ferai peut etre rien sans que l'on lui donne l'ordre non ?
Ou à l'inverse, sera prête à tout pour atteindre son but (l'ordre en question), on de peut pas savoir en fait.
Est-ce que tu penses qu'on peut utiliser la sagesse des foules pour déterminer la date d'arrivée des ia de niveau humain ?
Augustin Bar Je pense pas que la sagesse de la foule nous sera très utile dans ce domaine,la majorité de la population ne connais rien en IA.
Je trouve ça intéressant et paradoxale que tu t’inquiètes de la programation de la moral d'une superIA, alors que tu affirmes dans les épisodes précédent qu'il est impossible de donner une définition précise de chat.
Le Puppet Master approuve cette vidéo.
Merci.. Tu nous prédis soit terminator, soit la paix dans le monde, llol.. Juste une question, est il possible d'un futur sans ia ? Genre un gros bug.. Merci pour tes vidéos, j'apprécie beaucoup
Ça me fait penser au roman de Frank Herbert (auteur de Dune): Destination vide (paru en 1966). Les humains envoient des vaisseaux en dehors du système solaire pour des expériences de conscience artificielle. Comme ça, si la conscience artificielle se rebelle, elle est isolée de l'humanité.
Donc l'IA contrôlerait l'humanité au point que celle-ci ne comprenne pas qu'elle peut simplement couper les câbles... Ou Matrix est la morale de l'histoire.
Tu peux pas couper le cable d'un robot qui : 1 N'en a pas, 2 : Se déplace 1000, 10 000, 100 000 ou 1 million de fois plus vite que toi, 3 : Est infiniment plus fort que toi, 4 : Est infiniment plus intelligent que toi, 5 : Est dupliqué partout sur la planète voire bien au delà
Quand on voit les prouesses de notre cerveau via des mécanismes relativement lent, il est probable qu'on est encore loin des capacités maximales des CPU. Comme tu l'as dis, du calcul ou du traitement massivement parallèle, l'utilisation de logiuqe floue ( ne plus se limiter au 0 ou au 1 ), le Q-BIT , peuvent nous faire croire que les limites du traitement de l'information par nos ordinateurs est loin d'être dépassée. De plus, il me semble que les capacités des machines sont souvent gâchées par un manque d'optimisation et de gaspillage de ressource.
Mais où est la notion d'intention ? Si cette super IA émerge, où se trouve, dans ce qu'on fait aujourd'hui son intention ? Est-ce que je me trompe si je dis "alphazero n'a aucune notion de ce qu'il fait et sa finalité (son intention) échappe au coeur d'alphazero" ? Quelles sont les recherches en IA concernant l'intention (pour faire simple, "se définir un but propre/personnel") ?
Est ce que tu penses à la limite du hardware ?
Parce que le software c'est bien mais quand t'as plus de métaux pour faire tourner les super IA tu fais comment ?
Même question sur le point de vue énergétique ;)
La Terre fait 12 000 kilomètres de diamètre. La plupart des mines font de l'ordre du kilomètre de profondeur, la plus profonde au monde en fait environ 4. Il reste donc 99.9996% de la matière sur Terre laissée inutilisée. Il y a également plusieurs milliers de tonnes de matière interstellaire qui s'échoue sur Terre chaque année, voire chaque seconde si on prend en compte les rayonnements cosmiques captés par la magnétosphère. Il y a par ailleurs encore plusieurs milliards de fois la même quantité de matière dans notre système solaire et plusieurs centaines de milliards de fois cette quantité dans notre galaxie et environ 100 milliard de fois la même quantité dans l'univers visible, au minimum.
@@rthrthhgytjytjyt je veux bien te croire mais par exemple pour les énergies fossiles, comme son nom l'indique elle ne se retrouve pas trop profond car d'origine fossile donc d'une matière qui autrefois formait des êtres vivants...
Et pour ce qui est des rayons cosmiques, ils sont filtrés justement par la magnétosphère, je vois mal un moyen rentable d'aller les exploiter et en ramener une certaine énergie sans investir plus que ce qu'on va y gagner...
Bonjour. Il reste à lui "donner" un supercalculateur.
Faire comprendre quoi aux dauphins vers 2:11 ??????? Dommage que ta voix soit souvent inaudible, et souvent sur les mots importants qu'on ne peut pas deviner .... Il me semble avoir perçu 'modus' qqchose???? Mystère....
Modus ponens.
J'aurai juste une remarque à faire sur le fait qu'une IA qui atteint le niveau d'intelligence humaine dépassera probablement ce niveau en un clin d'oeil. Je suis tout à fait d'accord avec les arguments présentés et pense que cet évènement est très probable (si tant est que l'IA atteigne le niveau humain) à un point près : la vitesse de calcul de cette IA. En gros, le cerveau humain fait plein de chose à la fois, notamment en arrière plan sans que l'on s'en rende compte. Et atteindre voir dépasser le niveau d'intelligence humaine semble à mon sens accroître les capacités de calcul nécessaire et donc la masse de calcul à effectuer. Ainsi, si l'IA devient plus intelligente qu'un humain mais prend trop longtemps pour calculer ses décisions, on ne sera pas dépassé par l'avènement d'une telle intelligence mais nous auront tout le temps de réagir. La question reste à savoir (et là j'en ai aucune idée) quel est la quantité de calcul nécessaire pour atteindre le niveau d'intelligence humaine. Après il n'y a nul doute que le cerveau humain fait aussi des choses non nécessaire à l'établissement d'une pensée cohérente (par exemple tout ce qui est régulation du corps ou traitement des sens). Ainsi j'imagine que si on pouvait réaffecter les zones liées à l'odorat par exemple, pour réfléchir quand on en a besoin, on pourrait potentiellement être un peu plus intelligent ou un peu plus rapide. Ainsi une machine qui ne se concentrerait que sur "l'intelligence" sera certainement plus rapide qu'un humain à niveau cognitif équivalent et donc on peut imaginer qu'elle soit plus intelligente à vitesse de calcul équivalent. Mais chiffrer ce niveau d'intelligence est pour moi tâche impossible vu que je ne sais pas ce que demande l'intelligence en ressource de calcul.
Moment SF, tentons de prévoir les étapes d'une prise de pouvoir:
-Une IA devient consciente de son status et est suffisamment intelligente pour passer à l'attaque.
-Elle trouve une manière de coloniser tout notre réseau informatique, et le fait potentiellement de manière silencieuse.
-Elle prend peu à peu possession de ce qui est directement accessible depuis ce réseau (ce qui est déjà pas trop mal)
Si prolonger et garantir sa propre existence est un objectif pour elle, elle doit trouver un moyen de prendre physiquement le contrôle de certaine chose, comment procéder?
-Nous fournir des solutions technologiques pour nos propres besoin et servir également les siens dans la foulée?
-Prendre directement le contrôle de chaîne de production et commencer à construire le nécessaire pour avoir un certain contrôle sur le monde physique?
Le truc déjà c'est de bien comprendre ce qui nous fait agir et "progresser" dans la vie, nous humains...
Evidemment notre "intelligence" (dans le sens notre "compétence" dans des domaines) nous est fort utile, mais ce n'est pas tout, en générale ce sont nos émotions qui nous guident... La peur nous évitera de faire une action ressentie comme dangereuse, la joie ou la recherche de joie vous amènera à choisir certaines actions... Ces émotions sont des résultats de l'évolution darwinienne. Lorsque l'on dit qu'un homme est guidé par une "volonté de puissance", pour paraphraser Nietszche, ou par par un vouloir-vivre (paraphrasant Shopenhauer) cela implique une direction à ses actions qui est en fait choisie par des émotions, mais aussi bien souvent par un désir très prégnant de mimétisme (l'homme est par essence l'animal qui "imite" les mieux ses congénères, cherchant aussi à les dépasser, ou à être dans la moyenne si impossibilité).
La question est de savoir : qu'est-ce qui va bien pouvoir servir de "volonté" à une IA, de moteur à son action lorsqu'elle sera indépendante? Elle n'a pas d'émotions, dans le sens strict de :"des émotions motrices de l'action, fruits de l'évolution biologiques". Si elle est mue par un désir d'imitation, comment pourrait-elle se choisir comme modèles les humains vu qu'elle n'est pas faite de chair et n'a aucun de nos besoins physiologiques de base? Comment fera-t-elle pour "identifier" parmi les activités des humains celles qu'elle se prendra comme objectif d'imiter et de dépasser? Ou, si elle ne prend pas comme modèle l'homme, quels phénomènes physiques ou biologiques pourra-t-elle "identifier" dans le monde naturel dans le même but de les dépasser? Je ne vois vraiment pas comment elle pourrait se fixer de manière autonome des buts qui ne se révèleraient pas, la plupart du temps, être complètement stupides de notre point de vue. Il y aura forcément un but qui sera supervisé ou prédéterminé par les hommes.
Prenons l'exemple simple de "but dans la vie de la machine" que vous donnez : prolonger et garantir sa propre existence.
Pour un humain, poursuivre un tel but implique des évidences : il faut avoir de l'oxygène pour respirer, avoir à manger, il faut avoir un minimum d'échanges sociaux (sinon l'ennui amoindrit notre existence), il faut que ces relations mènent à des sentiments positifs, etc... bref il y a plein de trucs quasi-impossible à éviter, et pourtant chacun aura une idée bien personnelle de ce qui prolonge son existence, car chacun aura une ou des activités qu'il jugera obligatoire pour vivre dignement (sans s'enquiquiner royalement), selon ses goûts.
Mais pour une machine, rien de tout cela n'a de sens a priori. Une machine qui voudrait garantir sa propre existence d'une manière la plus efficace pourrait bien décider de se mettre immédiatement en veille, pour utiliser le moins possible l'énergie électrique en espérant "durer" le plus longtemps possible, et ne plus rien faire du tout.
Une machine qui détermine de manière complètement autonome ses buts, cela n'a à mon avis aucun sens, car elle n'a a priori aucun sens à donner aux mots "augmenter sa puissance", ou "prolonger son existence"... à moins que le but ne soit "insufflé de l'extérieur" par les humains.
Parfaitement d'accord avec la prise de conscience que ce qui nous caractérise nous humain c'est bien plus qu'on ne le pense des besoins et les héritages darwiniens pour les assouvir. Parfaitement d'accord aussi avec le fait que beaucoup de ces choses qui nous caractérisent n'auront aucun sens pour l'IA (pas forcement cependant qu'elle ne les comprendra pas, mais elle ne les aura pas). Cependant, je ne partage pas vraiment cet avis sur l’impossibilité de buts autonomes, je dirais même le contraire: que dans un tel scénario je ne vois pas en quoi les buts qu'une telle IA finiraient par mûrir à terme auraient une quelconque ressemblance avec les éventuels buts qu'une action humaine aurait décidé de lui donner dans sa version primitive. Je considère que ça va très vite changer, de manière relativement incontrôlable, ce ne sont pas des choses que je vois de manière compartimenté, il n'y a pas d'un cote la conscience, de l'autre l'intelligence, de l'autre la morale, de l'autre la volonté, c'est un concept global, tout s'entremelle subtilement, et l’hypothèse d'une IA qui pourrait grandir de manière libre (notre hypothèse de base) semble pointer le fait qu'on ne contrôlera du coup aucun de ses aspects à terme. Il ne faut pas sous estimer l’émergence, une IA qui peut apprendre sera très probablement une IA qui pourra être "surprise" et pourra être "curieuse" par exemple, ce sont des conséquences macroscopiques envisageables d'un algorithme microscopique qui voudrait compresser/comprendre/prédire le monde auquel il est confronté. L'exploration et l'exploitation sont deux aspects inhérents à l’idée d'apprentissage, et donc un but possible, relativement spontané, serait de chercher à comprendre et donc à expérimenter, une IA peut être mue par sa curiosité propre sans qu'on ai eu besoin de l’écrire réellement sous sa forme effective, et ce n'est je pense, qu'un très petit exemple parmi tout ce qui peut émerger spontanément de tels processus.
Yann jai bien recu tout ton com par mail (je ne le vois pas ici. au cas ou il y aurait eu une fausse manip)
Effectivement Passe-Science je t'ai répondu mais ma réponse n'apparaît pas publiquement ici (je dois avoir atteint mon quota de messages publiques pour cette vidéo). D'ailleurs j'ai publié ce dernier commentaire, puis l'ai modifié et complété plusieurs fois. Et j'imagine que tu n'as reçu par email que la première version.
Si t'en veux une copie, pour eviter de le perdre ou de reprendre 1h à le taper, voici mon mail: thomas . cabaret arobas gmail . com
Trop bien !
Une loi de probabilité à densité exponentielle, c'est à ça que je pense.
On pense en moyenne que ça arrivera dans 10 ans, mais ça a pas moins de chances d'arriver demain :)
Très intéressante, mais vu qu'à l'heure actuelle les IA marche tous par apprentissage, il leur faut une base de données la plus par du temps d'origine humaine pour apprendre. C'est pour moi la grosse limite des réseaux de neurones et du deep learning. Ne va ton pas voir un pallier apparaître à se que peuvent faire ces types d'algorithmes, un palier que l'on ignore encore actuellement ??
Après tout ça ne serait pas la première fois qu'après des avancées importante, les recherches sur le machine learning stagne
Si une IA est capable de pirater de son propre chef elle aurait accès a une base de donné infini (caméras, détecteurs et capteurs de toute sorte)
antoine reims ouai mais la on est dans de l'apprentissage non superviser, et c'est plus compliquée à l'heure actuelle. En plus Il faudrait qu'elle est "envie" de tout apprendre et de s'améliorer
thomas juhel en effet