Теоретический туториал: Как учить большие языковые модели

Обзор основных идей создания LLM. Поговорили про данные, особенности архитектур, этапы обучения и методы его масштабирования. Туториал будет интересен специалистам в ML и DL, которые не занимаются обучением LLM или только погружаются в эту тему.
Спикер: Мурат Апишев, техлид поиска в Samokat.tech, ex-SberDevices, ex-Just AI, ex-Yandex
Модератор: Петр Гусев ML Lead в Deliveroo, экс-Яндекс: MLE в команде рекомендаций Яндекс.Медиасервисов
00:00 Знакомство
01:45 Сейчас "LLM" ≈ "AI"
03:25 Языковое моделирование
05:05 Промптинг LLM
09:55 Архитектура
26:00 Токенизация
31:35 Позиционное кодирование
34:47 Этапы обучения и Данные для обучения
51:15 Баланс между параметрами и данными
54:30 Масштабирование обучения
01:02:40 Эффективность обучения
01:15:10 Алгоритмы оптимизации
01:17:35 Эффективность дообучения
01:20:50 Качество генерации
01:23:30 Архитектура
01:27:40 Масштабирование обучения
01:27:50 Обработка длинного контекста
01:30:45 Мультимодальность
01:30:55 Оценка качества LLM
__________
Подписывайся на наши соц. сети:
LinkedIn UnionVK: / unionvk
Instagram UnionVK: / unionvk_
LinkedIn YNDX Family: / yndx-family
Instagram YNDX Family: / yndxfamily
#vk #яндекс #llm #ai #языковыемодели

[@CoolWorm13]

Спасибо, приятный грамотный лектор, и хорошая лекция.

[@user-ij4tu7dv6z]

Спасибо за видео! Очень полезно