Très clair merci, référencement en tête des vidéos LSTM mérité. Un petit complément sur la backpropagation dans les cellules LSTM aurait peut-être pu compléter le tout
très bonne vidéo pédagogique ! un commentaire pour la mettre en lumière pour d'autres personnes en recherche de vidéos pédagogiques de qualité sur le sujet
Slt , Merci Beaucoup pour cette très claire vulgarisation des LSTM, c'est vraiment très bien expliquer ! Merci encore pour tout ton travail, et la qualité d'information partagée.
Je viens de terminer la formation de andrew NG sur les LSTM j'avais quelque flou a propos de ça, en regardant ta vidéo j'ai pu combler mes lacunes a ce sujet. Bien joué.
1) Les matrices pour l'étape d'oublie, d'ajout et de sortie sont donc toutes des matrices (9,5) mais pour chacune on attribue des valeurs aléatoires différentes ? 2) quant à C lors de la partie sortie il s'agit de l'addition de la mémoire obtenue dans l'étape oublie + celle dans l'étape ajout ? 3) dernière question comment fonctionne le t0 ? avec C-1 = vecteur nulle ? En tous cas merci d'expliquer avec tant d'explication ça rend le sujet vraiment abordable
Excellent vidéo. Cependant j'ai du mal à voir comment les gains de toutes ces matrices sont entrainés comparés à un réseau feedforward. Un prochain vidéo :) ?
Thibault, si tu lis encore les commentaires : merci pour cette vidéo qui m'a aidé à comprendre les LSTM. Deux remarques bienveillantes et constructives toutefois : pense à rappeler que tu parles de la multiplication numpy de vecteurs (ie membre à membre) et non d'une multiplication mathématique de vecteurs qui n'existe pas ! Par ailleurs mais c'est plus anecdotique j'en conviens, je pense que ce serait plus clair si tu évitais oralement certains termes anglais ou abréviations (exemple : biais et non "bias" avec une prononciation pas intuitive, tangente hyperbolique et non "tanh"). Bravo pour le reste 🙂
Un grand bravo pour ta vidéo, avec des explications très claire. Penses-tu que dans un avenir proche il serait possible de faire une vidéo sur les Memory Network, qui est une version amélioré des LSTM ? Encore un grand bravo pour ta vidéo et continue comme ça !
Bonjour et merci pour la clarté de ce cours. Je voudrai si possible savoir si on peut avec cette technique LSTM créer un système d'enregistrement, d'identification et de gestion de terminaux mobiles à l'aide de deux catégories de codes et d'une valeur fixe? Si oui, existe-t-il un survey sur cette préoccupation?
Très instructif et très pédagogique (la qualité des slides aide énormément ^^) Par contre, j'anticipe peut-être le sujet d'une prochaine vidéo, mais comment fait-on pour paramètrer ce genre de cellules ? Merci encore pour ce travail pédagogique qui arrive à enlever la "magie" derrière les technologies à la base de l'intelligence artificielle.
En utilisant de la backpropagation, chaque matrice W et les bias b montré vont être modifié pour converger vers une solution. J'en parle dans ma série sur le deep learning.
@@ThibaultNeveu Une retro-propagation classique fonctionne donc ... ça doit pas être simple à mettre en œuvre à la main mais certain framework doivent faire ça je suppose ? Il faut donc avoir plusieurs, un pour chaque pas de temps ?
Non, un seul en réalité, car le calcul réalisé à t+10 par exemple dépend de t+9 qui dépend de t+8 qui dépend de ..... t. Donc par la rétropopagation un seul optimizer suffit pour optimiser la même céllule qui est utilisé sur toute les steps, et ainsi faire en sorte que à chaque step la céllule est bien une représentation et une série d'opération (foget gate, input gate, output gate) qui lui permette de faire la bonne prédiction.
Super vidéo on comprend facilement grâce aux illustrations ! Je me demandais seulement : est-ce que la taille du vecteur de mémoire de la cellule doit être égale à la taille du vecteur de sortie ?
Je réponds à cette question pour les prochains lecteurs mais je ne pense pas que la mémoire soit de même taille que l’output. Pour n’avoir par exemple qu’un output avec une matrice de 5 valeurs, on pourrait implémenter à la fin une couche pour relier chaque valeur de la mémoire à la sortie. Reprenez moi si j’ai faux. ;)
@@mmdrlolfr2612 Alors, 3 ans de PyTorch plus tard je peux répondre à moi-même du passé : ce qu'on fait en pratique c'est qu'on ramène le hidden_state de la dernière couche LSTM à la dimension souhaitée grâce à une projection linéaire.
merciii beaucoup pour cette vidéo vous explique bien ! avez vous un email . je suis en train de faire ma mémoire de recherche qui s' intérésse sur le deep learnig pour prédir la tendance du prix d'un indice bourcier avec analyse numérique(prix de l'action ) et une analyse textuelle (analyse de sentiment) . je suis dans la phase de modéliser le modele avec le logiciel Matlab .Si je trouve un probléme ou une tache pas claire je peut vous contacter par email ?
Merci beaucoup. Cette notion est clairement plus difficile à saisir que les RNN mais grâce à tes explications très claires je pense avoir compris.
Très clair merci, référencement en tête des vidéos LSTM mérité. Un petit complément sur la backpropagation dans les cellules LSTM aurait peut-être pu compléter le tout
Enfiiin je comprend les LSTM. Merci !
Une video sur les transformers serait aussi intéressante ^^
très bonne vidéo pédagogique ! un commentaire pour la mettre en lumière pour d'autres personnes en recherche de vidéos pédagogiques de qualité sur le sujet
Slt , Merci Beaucoup pour cette très claire vulgarisation des LSTM, c'est vraiment très bien expliquer !
Merci encore pour tout ton travail, et la qualité d'information partagée.
J'ai pas fini ta vidéo mais je tiens déjà à te remercier de ce que tu fais !! Tes explications sont simples et concises ! J'adore ca, merci bcp !
Quelle pédagogie ! C'est vraiment très bien expliqué. Bravo pour ce travail de qualité !
Je viens de terminer la formation de andrew NG sur les LSTM j'avais quelque flou a propos de ça, en regardant ta vidéo j'ai pu combler mes lacunes a ce sujet. Bien joué.
T'as mieux expliqué les LSTMs que Andrew Ng. Merci pour ton partage!
1) Les matrices pour l'étape d'oublie, d'ajout et de sortie sont donc toutes des matrices (9,5) mais pour chacune on attribue des valeurs aléatoires différentes ?
2) quant à C lors de la partie sortie il s'agit de l'addition de la mémoire obtenue dans l'étape oublie + celle dans l'étape ajout ?
3) dernière question comment fonctionne le t0 ? avec C-1 = vecteur nulle ?
En tous cas merci d'expliquer avec tant d'explication ça rend le sujet vraiment abordable
meilleur cours sur les LSTM Merci beaucoup
merci bcp, j'espère voir une vidéo sur les MNNs (Modular neural networks)
Merci vous m'avez vraiment aidé à comprendre les bases du LSTM!
Excellent vidéo. Cependant j'ai du mal à voir comment les gains de toutes ces matrices sont entrainés comparés à un réseau feedforward. Un prochain vidéo :) ?
incroyable tes vidéos !
très bien expliqué. Merci
C'est grandement instructif. Merci !
Les meilleurs explications merci
Bravo et félicitations Thibault, ne change rien ! En retour ce fan te conseille burning man ;)
Merci pr la vidéo !
superbement explique
Un mot a dire: excellent.
Excellente video sur les LSTM.
Bravo merci beaucoup je comprends vraiment 🙏 stp as-tu fais une vidéo sur le backpropagation?
Trés bonne explication, Merci beaucoup pour vos efforts et Bonne continuation.
C'est très clair, merci :)
Lerci beaucoup beaucoup mon frère tu expliques très bien
Franchement tu gères à fond merci beaucoup
vraiment top comme video ! thanks :)
Thibault, si tu lis encore les commentaires : merci pour cette vidéo qui m'a aidé à comprendre les LSTM. Deux remarques bienveillantes et constructives toutefois : pense à rappeler que tu parles de la multiplication numpy de vecteurs (ie membre à membre) et non d'une multiplication mathématique de vecteurs qui n'existe pas ! Par ailleurs mais c'est plus anecdotique j'en conviens, je pense que ce serait plus clair si tu évitais oralement certains termes anglais ou abréviations (exemple : biais et non "bias" avec une prononciation pas intuitive, tangente hyperbolique et non "tanh"). Bravo pour le reste 🙂
Bravo ! C est trop bien expliqué :)
Bravo et mille merci, tres clair et tres bien explique.
Tres Clair , merci
Vraiment excellent ce cours, merci beaucoup !
Merci c'est bien expliqué. mais j'arrive pas saisir la relation entre la mémoire et le vanashing/exploding gradient.
tu es génie, merci encore
merci beaucoup pour cette explication , une petite erreur (min 13:26)la matrice Wf doit être de taille (5,9) et non pas de (9,5)
Un grand bravo pour ta vidéo, avec des explications très claire. Penses-tu que dans un avenir proche il serait possible de faire une vidéo sur les Memory Network, qui est une version amélioré des LSTM ?
Encore un grand bravo pour ta vidéo et continue comme ça !
Je prend note, c'est vrai que les memory network sont super intéressant!
Super bien expliqué
Très bien expliqué ! Merci
Merci, bien explique
GéNIAL !!
Bonjour et merci pour la clarté de ce cours. Je voudrai si possible savoir si on peut avec cette technique LSTM créer un système d'enregistrement, d'identification et de gestion de terminaux mobiles à l'aide de deux catégories de codes et d'une valeur fixe? Si oui, existe-t-il un survey sur cette préoccupation?
C'est excellent! Merci :D
Très instructif et très pédagogique (la qualité des slides aide énormément ^^)
Par contre, j'anticipe peut-être le sujet d'une prochaine vidéo, mais comment fait-on pour paramètrer ce genre de cellules ?
Merci encore pour ce travail pédagogique qui arrive à enlever la "magie" derrière les technologies à la base de l'intelligence artificielle.
En utilisant de la backpropagation, chaque matrice W et les bias b montré vont être modifié pour converger vers une solution. J'en parle dans ma série sur le deep learning.
@@ThibaultNeveu Une retro-propagation classique fonctionne donc ... ça doit pas être simple à mettre en œuvre à la main mais certain framework doivent faire ça je suppose ?
Il faut donc avoir plusieurs, un pour chaque pas de temps ?
Non, un seul en réalité, car le calcul réalisé à t+10 par exemple dépend de t+9 qui dépend de t+8 qui dépend de ..... t. Donc par la rétropopagation un seul optimizer suffit pour optimiser la même céllule qui est utilisé sur toute les steps, et ainsi faire en sorte que à chaque step la céllule est bien une représentation et une série d'opération (foget gate, input gate, output gate) qui lui permette de faire la bonne prédiction.
merci!!
tres simple explicaion
est ce possible davoir une video sur le modèle transformer du papier "attention is all you need". Merci a toi bon courage!
Top :)
Pourriez-vous me dire svp quel logiciel utilisez vous pour la représentation graphique/schéma des réseaux ?
Merci bcq pour la vidéo, c‘est très utile. A 4min22, est ce que la matrice de poids W pourrait avoir une taille 4X3 ou obligatoirement 3X4.
Salut thibaut, merci pour la video. STP comment je peux utiliser un graphe qui figure sur la video, biensur que en te citant dans mon etude
Excellent travail, comme toujours :). Est-ce la prochaine video traitera de l'apprentissage de telles cellules ?
Ça va venir oui, il y a un gros programme que je prépare pour le mois prochain :)
@@ThibaultNeveu un gros programme? J'ai hate :)
Merci pour ta vidéo, qu'est ce que représentent les 5 valeurs du vecteur Ct ?
Merci bcp ❤
Merci beaucoup pour vos explications. Mais est-ce possible d'avoir une ou des vidéos sur les GAN ?
C'est dans la roadmap!
OK
merci
Merci
Top
Super vidéo on comprend facilement grâce aux illustrations !
Je me demandais seulement : est-ce que la taille du vecteur de mémoire de la cellule doit être égale à la taille du vecteur de sortie ?
Je réponds à cette question pour les prochains lecteurs mais je ne pense pas que la mémoire soit de même taille que l’output. Pour n’avoir par exemple qu’un output avec une matrice de 5 valeurs, on pourrait implémenter à la fin une couche pour relier chaque valeur de la mémoire à la sortie. Reprenez moi si j’ai faux. ;)
@@mmdrlolfr2612 Alors, 3 ans de PyTorch plus tard je peux répondre à moi-même du passé : ce qu'on fait en pratique c'est qu'on ramène le hidden_state de la dernière couche LSTM à la dimension souhaitée grâce à une projection linéaire.
merci beaucoup pour cette explication est ce que tu peut me donne le diapo de présentation s'il possible et mrc
docs.google.com/presentation/d/126o9uafLcWUP6UHvffmrUxgmbIdoWXcj31ALDHK8baQ/edit?usp=sharing
@@ThibaultNeveu merci beaucoup
MERCI DE M'ENVOYEZ VOTRE E-MAIL
merciii beaucoup pour cette vidéo vous explique bien ! avez vous un email . je suis en train de faire ma mémoire de recherche qui s' intérésse sur le deep learnig pour prédir la tendance du prix d'un indice bourcier avec analyse numérique(prix de l'action ) et une analyse textuelle (analyse de sentiment) . je suis dans la phase de modéliser le modele avec le logiciel Matlab .Si je trouve un probléme ou une tache pas claire je peut vous contacter par email ?
Salut, as-tu rejoins le discord pour parler de ton projet ?
J'allais écrire, .... un système centralisé, ...
Bonjour,
Quelqu'un peut me dire comment on set le nombres de cells d'un LSTM?
Merci
Il oublie peu à peu son français : un biais, une couche, un produit scalaire, tangente hyperbolique, une sortie etc...
L3zzzz Biiik Awld Mimty 3ajbny Lah Yj3l Rby y7n 3lk alfrda
Merci, une vidéo tres claire.