FIDLE / Passer à la vitesse supérieure : l’accélération matérielle

Les modèles les plus sophistiqués exigent de longs apprentissages pour trouver un ensemble de paramètres satisfaisants relativement à la tâche que l’on souhaite accomplir.
Alors que la session 17 explorait différentes méthodes pour accélérer l’apprentissage en explorant plus rapidement le paysage de la loss et donc en réduisant le nombre d’itérations nécessaires pour obtenir un modèle entraîné, cette session se concentre majoritairement sur une utilisation plus sophistiquée du matériel disponible afin de réaliser un même nombre d’itérations en un temps plus restreint.
On pourra également utiliser des optimisations liées à la mémoire pour exploiter plus favorablement notre accélérateur ou pour faire rentrer des modèles plus volumineux en mémoire RAM.
Au menu de cette séquence :
- Présentation du supercalculateur Jean Zay
- Optimisation du chargement et prétraitement des données sur CPU
- Calcul sur GPU et problématiques mémoire
- Data parallelism
- Optimisation ZeRO de DeepSpeed
- Pipeline parallelism
- Tensor parallelism
Durée : 2h00
Pour rappel, FIDLE est une Formation d'Introduction au Deep Learning, libre et gratuite.
Pour en savoir plus : fidle.cnrs.fr
Cette vidéo est sous licence Créative Common CC BY-NC-ND 4.0

[@lolo6795]

Merci pour cette présentation.

[@adrienforbu5165]

super vidéo ! explications très claires :)