Panoram'IA - Avril 2024 - Actualités et Publications IA

Emission mensuelle dans laquelle l'IDRIS et ses partenaires présentent les nouveautés en IA.
Au programme : Brèves, Revues de papier et Papers Storm
Sur le plateau : Nathan Cassereau, Léo Hunout, Jean-Luc Parouty et Kamel Guerda
Liens vers les papiers et sujets abordés :
📰 Brèves de l'IA :
Annonce de l'extension de Jean Zay : www.cnrs.fr/fr/presse/genci-e...
NVIDIA Blackwell Platform Arrives to Power a New Era of Computing : nvidianews.nvidia.com/news/nv...
📑 Revue de papier I :
KTO : arxiv.org/pdf/2402.01306.pdf
📑 Revue de papier II :
GaLore : arxiv.org/pdf/2403.03507.pdf
📰 Papers Storm :
Asynchronous Local-SGD Training for
Language Modeling : arxiv.org/pdf/2401.09135.pdf
CO2: Efficient Ditributed Training with Full Communication-Computation Overlap : arxiv.org/pdf/2401.16265.pdf
DiPaCo: Distributed Path Composition : arxiv.org/pdf/2403.10616.pdf
Linear Attention Sequence Parallelism : arxiv.org/pdf/2404.02882v1.pdf
The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits : arxiv.org/pdf/2402.17764.pdf
Jamba : A Hybrid Transformer-Mamba Language Model : arxiv.org/pdf/2403.19887.pdf
The Hidden Attention of Mamba Models : arxiv.org/pdf/2403.01590.pdf
Can We Understand Plasticity Through Neural Collapse? : arxiv.org/pdf/2404.02719v1.pdf
The Unreasonable Ineffectiveness of the Deeper Layers : arxiv.org/pdf/2403.17887.pdf
RewardBench : Evaluating Reward Models for Language Modeling : arxiv.org/pdf/2403.13787.pdf
Measuring Style Similarity in Diffusion Models : arxiv.org/pdf/2404.01292.pdf
Quantum Denoising Diffusion Models : arxiv.org/pdf/2401.07049.pdf
🔭 Telescoop'Bubble : telescoop.cnrs.fr/
00:00 Introduction
01:09 Brèves de l'IA
23:24 Revue de Papier I : KTO
35:19 Revue de Papier II : GaLoRe
50:49 Papers Storm!!!
1:02:35 Conclusion

[@magabosc2451]

Merci pour cette supère vidéo ! C'est très intéressant le principe du KTO et de l'aversion à la perte, ça m'a fait pensé à la vidéo de ScienceEtonnante : Risques, décisions et incertitudes qui parle aussi de ces biais.