Получается, Сайга училась только на Instruction finetuning? Или все-все-таки был RLHF этап? Не увидел в докладе этот момент. Было что-то про ранжирование 1о датасета, которое может подойти для HF. И все.
@@IlyaGusev-y8c на датасете персонаже тоже училась опубликованная сетка? Пробовал ее попросить создать персонажа и придерживаться созданного при общении. Придерживалась. Только ответы давала предельно развернутые и корректные. Нельзя её указать. что персонаж ругается или говорит грубо . . .
@@АлексейСвищев-н7к Ага, у всех последних версий был RP датасет в обучении. А что не ругается - так это потому, что датасет генерировался GPT-4/GPT-3.5, и там такого быть не могло.
Спасибо за сайгу и турбоальпакалору ❤
Попробовал рецепты: 13b-сайга выдала рецепт борща без свеклы и рецепт щей без капусты 😅
Спасибо вам большое за отличный доклад, за ваш труд, и за канал в телеграмме ❤️👍🙏🤘
Спасибо! Очень интересно!
Получается, Сайга училась только на Instruction finetuning? Или все-все-таки был RLHF этап?
Не увидел в докладе этот момент. Было что-то про ранжирование 1о датасета, которое может подойти для HF. И все.
Нет, никакого RLHF этапа не было, потому что не было никакого HF. Только SFT, но не только на инструкциях.
@@IlyaGusev-y8c на датасете персонаже тоже училась опубликованная сетка?
Пробовал ее попросить создать персонажа и придерживаться созданного при общении. Придерживалась. Только ответы давала предельно развернутые и корректные.
Нельзя её указать. что персонаж ругается или говорит грубо . . .
@@АлексейСвищев-н7к Ага, у всех последних версий был RP датасет в обучении. А что не ругается - так это потому, что датасет генерировался GPT-4/GPT-3.5, и там такого быть не могло.
Кластеризация новостей - это тот который в телеге nyannnews?
(уже отвечал, видимо коммент удалился из-за ссылки)
Нет, это про дорожку на Диалоге 2021 про кластеризацию новостей.