Языковые модели для чайников: просто и полезно про BERT и GPT | Вебинар 2021-02-18

Языковые модели для чайников: просто и полезно про BERT и GPT
0:00 что сегодня будет
3:52 про автора
5:41 примеры и типы задач NLP
15:00 логистическая регрессия, мать всех нейросетей
33:28 проблема переобучения: почему просто больших моделей мало
43:45 эмбеддинги как простейшая предобученная модель
1:02:00 контекстные эмбеддинги
1:10:43 философия transfer learning
1:25:37 задумка и устройство BERT (и вообще трансформеров)
1:42:16 насадки на BERT для разных задач
1:52:24 блокнот с NER на BERT (shorturl.at/ksyN8)
2:16:28 GPT - универсальный генератор текстов
2:21:13 блокнот с генерацией из GPT твитов и диалога (shorturl.at/tuP68)
2:28:21 для каких задач нужна генерация текстов
2:29:35 методы управления генерацией
2:32:55 полезные ресурсы и ответы на вопросы
Занятие проводит Давид Дале (daviddale.ru). Если вы хотите поблагодарить спикера, можете сделать донат удобным вам способом на sobe.ru/na/donate_lm_vebinar_...
Больше информации:
- Чат Боткэмп про чатботы t.me/botcamp_community
- Канал Матчасть про анализ данных и прикладную математику t.me/matchast
- Чат про NLP на русском: t.me/natural_language_processing
Ставьте лайки, задавайте в комментариях вопросы, предлагайте темы для новых вебинаров!

[@oleghools4177]

Давид
, ты очень шаришь за NLP и круто объясняешь! Я прошел годичный курс по ML от Воронцова, после него слушать такое - сплошной кайф. Закрываю дыры в прикладной части вопроса DL и NLP

[@TheOneDesteny]

Классная лекция Давид!

[@lidia7982]

Спасибо.

[@Drova326]

Привет! А есть ссылка на вторую часть видео? "предобученные модели для русского языка" от 27 мая 2021

[@user-rq1dn1sm4y]

Да, вот она ua-cam.com/video/YHgOFKmx8qo/v-deo.html

[@dxlolxb]

Подписался)))

[@sandystep]

suuuper - you are the best in web , do you have more videos for NLP?

[@elenagavrilova3109]

Короткий текст, это сколько слов, предложений?