Les maths des réseaux de neurones

Dans cette vidéo, on poursuit le travail fait dans la première vidéo sur les réseaux de neurones en écrivant de manière vectorielle les équations du forward pass. Ces vectorisations rendent les écritures beaucoup plus lisibles et permettent l'utilisation de GPUs, capables d'effectuer beaucoup de calculs en parallèle.
Me suivre :
Github : github.com/Pro...
Twitter : / alexandretl2

[@prfontaine5387]

Cette vidéo fait partie d'une playlist intitulée "Les bases des réseaux de Neurones" qui est vraiment remarquable. On commence par la différentiation automatique avec un codage "from scratch", certes sans en connaître les aboutissants et puis, peu à peu, on se rapproche des réseaux, du processus d'apprentissage (fondamentalement une descente de gradient s'appuyant sur les gradients calculés par la différenciation automatique). Tout ce que j'aime en pédagogie: quasiment aucun prérequis nécessaires, on fait soi-même du code avant d'utiliser la librairie hyper-puissante (qui cache tout), progressivité dans la compréhension, introduction des notations et du vocabulaire de la communauté ... Bravo et merci !!

[@alexandretl]

Merci beaucoup pour votre commentaire! Content que la playlist vous serve

[@gno7553]

Très bien expliqué. Ça permet de voir l'application de l’algèbre linéaire.

[@alexandretl]

Merci! Dans le même style et qui parle d'algèbre liénaire, il y a aussi ma vidéo "Qu'est-ce qu'il se passe dans un réseau de neurones ?"

[@U.KOCORA]

Merci beaucoup pour cette vidéo de vectorisation. Ça aide

[@theStarpoon]

Y a t'il une méthode vectoriel pour faire la rétro propagation du gradient pour effectuer l'apprentissage ?

[@climborre7216]

Bonjour comment se nomme le logiciel de montage pour vos vidéos ? Animation etc

[@alexandretl]

Je fais les animations avec Manim (librairie Python) et le montage est fait sur DaVinci Resolve

[@lfbbtin7436]

* A^[l] contient n[l-1] lignes

[@alexandretl]

Non, A^[l] est de taille (n[l], m) avec m le nombre d'exemples, puisqu'elle a la même taille que Z^[l] qui est obtenu avec Z^[l] = W^[l]*A[l-1] + b^[l].
Par exemple si tu regardes A^[0] = X c'est bien de taille (n, m) où n vaut n^[0].
(à noter qu'il existe une autre convention où l'on place la dimension du batch m en premier)

[@lfbbtin7436]

@@alexandretl merci pour votre réponse, je voulais dire
A^[l] contient n[l-1] lignes
mais oui en effet je me suis bien trompé c’est n[l] lignes et m colonnes
L’ensemble des vidéos théoriques sont vraiment de super qualité. Ici il s’agit du forwardpass pour le réseau de neurones. Où puis je trouver le backpass? Merci

[@alexandretl]

​@@lfbbtin7436 Merci bien ! Dans la playlist "Les bases des réseaux de neurones" sur ma chaîne (notamment la vidéo Coder backpropagation en Python pour le côté pratique du backward pass, et les vidéos sur les graphes de calcul pour le côté un peu plus théorique)

[@redone7696]

Est-ce qu’on peut dire qu’un réseau de neurones n’est ni plus ni moins qu’un composé de plusieurs fonctions lineaire ?

[@alexandretl]

Si on prend pour fonction d'activation la fonction identité (f(x)=x), oui c'est bien ça, mais justement l'interêt c'est de pouvoir faire plus complexe que juste du linéaire, donc on prend des fonctions d'activations non linéaires

[@yashkadole8716]

English please

[@alexandretl]

Math is the universal language

[@yashkadole8716]

@@alexandretl at least captions , really liked your animations

[@alexandretl]

@@yashkadole8716 thanks! actually i'm planning on opening an english channel

[@yashkadole8716]

@@alexandretl thank u