Есть хороший блогпост на эту тему huggingface.co/blog/mlabonne/merge-models Сливают обычно модели одной и той же архитектуры, например вариации того же Mixtral-8x7b. Делается это зачастую линейной интерполяцией весов между двумя моделями с различными параметрами. Есть различные инструменты - какие-то требуют задать параметры руками, какие-то пытаются откалибровать эти параметры проходом по датасету. В некоторых merged (слитых) моделях авторы пишут, каким подходом и какие модели они объединяли, например huggingface.co/vicgalle/Merge-Mixtral-Prometheus-8x7B Список инструментов (не полный): github.com/Gryphe/BlockMerge_Gradient github.com/arcee-ai/mergekit github.com/Gryphe/MergeMonster
У меня вообще видеокарты нет, сервер dell r430 с одним слабым xeon процом, ну и апиративы 64 стоит последняя лама от Nvidia, всё работает , но медленно , сообщение может минут 10 писать, у тебя на GPU будет в разы быстрей @@daniyarkalmanbetov7271
Запись на курс мы открываем за несколько недель до старта, тогда же публикуем изменения в программе и цены. Вы можете оставить свои контакты в анкете предзаписи deepschool.ru/llm - чтобы мы сообщили вам о новом потоке и условиях в первую очередь :)
Сколько мучений. Оно то конечно интересно но отвлекает. Как говорится сапожник без сапог. Хотя я вообще видео не делаю потому что вот из-за этого. Всё никак не найду бесплатного диктора с искусственным интеллектом желательно чтобы говорил моим голосом. Ну это опять же надо обучать. Кстати этот текст в комментарии я тоже говорю. Но это уже другая технология. Речь в текст. В принципе уже давно есть и текст в речь Тоже давно пользуюсь. Но многим режет слух Голос робота. Хотя сейчас вроде уже и голоса есть хорошие. Более того есть сервисы на базе того же искусственного интеллекта Которые видеоряд подбирают. А то тема сложная не всё понятно.
спасибо! такое милое видео! звучит очень интересно, надеюсь получиться записаться на ваш курс
Спасибо! Будем рады видеть вас на курсе)
Оченьк коротко и очень по делу! Благодарочка!
2:46 - не расслышал - какен фейс? Факин фейс?
Неплохо бы в описании такие ссылки писать
hugging face, библиотека trandformers huggingface.co/docs/transformers/index
Добавим в описание, спасибо!
Спасибо
Как дообучить модель в оффлайне?
Спасибо за видео, интересное!
P.S. без черно белых вставок было бы значительно лучше)
А мне понравились вставки
Спасибо! Учтем)
Мне тоже очень понравились вставки
Срастбо.
Интересно
Расскажите плз, как можно слить 2 LLM в 1, если есть необходимость объединить знания обеих моделей и получить гибрид)
Есть хороший блогпост на эту тему huggingface.co/blog/mlabonne/merge-models Сливают обычно модели одной и той же архитектуры, например вариации того же Mixtral-8x7b. Делается это зачастую линейной интерполяцией весов между двумя моделями с различными параметрами. Есть различные инструменты - какие-то требуют задать параметры руками, какие-то пытаются откалибровать эти параметры проходом по датасету. В некоторых merged (слитых) моделях авторы пишут, каким подходом и какие модели они объединяли, например huggingface.co/vicgalle/Merge-Mixtral-Prometheus-8x7B Список инструментов (не полный): github.com/Gryphe/BlockMerge_Gradient github.com/arcee-ai/mergekit github.com/Gryphe/MergeMonster
@@deep_school Супер) А есть способ выжать из модели полный датасет, на которой она обучалась?
Пни если ответят плиз @@internetnickname8923
Спасибо!!!
ролик в духе "скелетон" )
LLM всегда предсказывает следующий токен
У меня 2080 super и 32 гб памяти, какую модель смогу запустить? так чтоб не фигня была, а чтото умела
Gemma2 - 8b?
У меня вообще видеокарты нет, сервер dell r430 с одним слабым xeon процом, ну и апиративы 64 стоит последняя лама от Nvidia, всё работает , но медленно , сообщение может минут 10 писать, у тебя на GPU будет в разы быстрей @@daniyarkalmanbetov7271
поставь LM Studio и проверь, что религия не позволяет?
А где цены на курс?
Запись на курс мы открываем за несколько недель до старта, тогда же публикуем изменения в программе и цены. Вы можете оставить свои контакты в анкете предзаписи deepschool.ru/llm - чтобы мы сообщили вам о новом потоке и условиях в первую очередь :)
как же заработать на макбук
Супер. Благодарность до 7го неба )
А скажи , просто оч интересно , какая у тебя профильная деятельность ? чем ты занимаешься в основном ?
Илья занимается обучением различных LLM-моделей, любит распределённое обучение и нейросети, еще Илье очень нравится рассказывать об этом студентам)
Сколько мучений. Оно то конечно интересно но отвлекает. Как говорится сапожник без сапог. Хотя я вообще видео не делаю потому что вот из-за этого. Всё никак не найду бесплатного диктора с искусственным интеллектом желательно чтобы говорил моим голосом. Ну это опять же надо обучать. Кстати этот текст в комментарии я тоже говорю. Но это уже другая технология. Речь в текст. В принципе уже давно есть и текст в речь Тоже давно пользуюсь. Но многим режет слух Голос робота. Хотя сейчас вроде уже и голоса есть хорошие. Более того есть сервисы на базе того же искусственного интеллекта Которые видеоряд подбирают. А то тема сложная не всё понятно.