Подробный разбор дообучения (fine-tuning) LLaMa (на примере задачи генерации заголовков к новостям)

Jupyter-ноутбуки из видео github.com/pineforest-ai/nlp_...
Наш tg-канал с материалами по NLP t.me/+Ml16EbQoepcwMGNi
00:00 - Сравнение исходной и дообученной LLaMa
01:08 - Установка зависимостей, import модулей
02:20 - Инициализация токенизатора и модели
03:16 - Как обучить LLaMa в int4
03:45 - Тип float4
04:52 - Сравнение потребления VRAM для различных конфигураций
05:28 - Загрузка и предобработка данных
05:42 - Составляем prompt
06:56 - Токенизация
08:43 - LoRA адаптеры
10:28 - Задаем гиперпараметры
11:27 - Запускаем обучение
11:33 - Где скачать обученную LLaMa?
11:43 - Как запустить обученную LLaMa?
12:26 - Гиперпараметры генерации
13:24 - Примеры генерации