«Alignment языковых моделей. Prompt engineering & supervised fine-tuning»

«Alignment языковых моделей. Prompt engineering & supervised fine-tuning»
Никита Драгунов, Разработчик отдела NLP группы YandexGPT Alignment, Яндекс Поиск
Как правило, GPT-подобные языковые модели обучаются в 2 этапа. На первом этапе модель предобучается на обширном корпусе текстов. Считается, что после предобучения модель хранит в себе разнообразные знания об окружающем мире. Однако не все эти знания желательны к использованию. Так, например, модель может увидеть неэтичную информацию, но, вероятнее всего, создателям модели не нужно, чтобы их продукт делился такой информацией с пользователем. Для этого необходим второй этап - alignment (выравнивание) языковой модели под требуемый домен.
В докладе основное внимание уделяется двум техникам выравнивания: prompt engineering и supervised fine-tuning. Рассказывается, как с использованием этих техник сделать модель этичной, привнести в неё персонажность, память и наделить её некоторыми другими полезными свойствами. Доклад основан на опыте работы автора над YandexGPT и генеративной моделью Алисы.