«Kandinsky: развитие моделей генерации изображений и видео по тексту»

«Kandinsky: развитие моделей генерации изображений и видео по тексту»
Денис Димитров, Исполнительный директор по исследованию данных в Sber AI, научный консультант в Институте искусственного интеллекта AIRI
Последние несколько лет без преувеличения можно назвать расцветом генеративных моделей, при этом работающих с самими разными модальностями. Доклад будет посвящен одним из самых трудоемких и сложных задач этого направления - задачам синтеза изображений и видео по текстам на естественном языке и основным подходам к их решению.
В первой части доклада обсудим задачу генерации изображений (в основном условной генерации по тексту). Остановимся на истории задачи, подробно обсудим основные методы и архитектуры для её решения, на каких данных такие архитектуры обычно учатся, поговорим о метриках для оценки качества генераций. Также поговорим о развитии моделей Kandinsky: от трансформерных архитектур (Malevich, Kandinsky 1.0) до диффузионных (Kandinsky 2.X и 3.X). Поговорим про ключевые результаты последних релизов моделей Kandinsky 2.1 и 2.2, обсудим планы развития линейки моделей Kandinsky.
Во второй части доклада затронем задачу генерации видео по текстовому описанию (причем обсудим как создание различных видов анимации, так и end-to-end генерацию полноценных видеороликов по тексту), основные трудности обучения моделей и способы оценки их качества. Немного поговорим и о нашей новой модели генерации видео: Video-Kandinsky.