Интерессно! Думал вы про RAG system (Красно-Жёлто-Зелёную систему) RAG stands for Red, Amber, and Green, and is a color-coded system used in project management
Виталий, спасибо! С удовольствием смотрю ваши видео! Нравится что очень качественный контент даете. Можете практический пример с 1с разобрать в видео? Тема очень интересная и думаю будет крайне полезная для огромного числа компаний у которых учет на 1с построен.
Виталий, спасибо за ролик! Сможете показать пример кода на питоне для описанной в примере задачи? Было бы очень интересно! Кстати, отмечу что, в сравнении с предыдущими роликами, есть субьективное ощущение, что этот ролик вышел чуть затянутым
Если данных много и они мало изменчивы/статичны, то кажется что переодический файнтюн будет лучше RAG (если не нужна именно справочная система). Например с помощью qlora. Верны ли мои рассуждения на этот счет? В любом случае был бы рад увидеть ролик с примером дообучения на своих данных
Файнтюнинг работает, но при этом его тяжело изменять. В РАГ можно добавить новы еданные в векторную БД или изменить промпт. Эти правки сразу можно протестировать на проблемных запросах.
@@kuliev.vitaly потому и сказал что данные по сути статичны и задача не подразумевает частое обновление датасета. Условно прилетает большой пакет документов с проекта раз в квартал, то можно каждый квартал файнтюнить условную llama с нуля на новой версии датасета. Цель в том, чтобы llm зная множество зависимостей этого большого проекта давала лучшие ответы. Если делать чисто через rag то каждый запрос будет тащить тонны документов
Спасибо за ролик! Можете ли вы порекомендовать какие-нибудь готовые RAG системы для домашнего использования? Ну которым можно скормить например свой обсидиан волт либо репозиторий с кодом и она сама по ним сделает эмбеддинги и поможет потом с формированием финального запроса в ллм (либо даже отправит его куда настроишь)?
@@kuliev.vitaly ну есть ещё cursor для кода - он имхо лучше Однако не все задачи ограничиваются кодом. Иногда надо натравить llm на большой пакет документации. Не хотел писать свою систему для rag, а среди доступных реализаций пока не решил на какой остановиться. Подумал мб вы с чем-то уже сталкивались
Виталий, спасибо за вашу работу! Подскажите, пожалуйста, на ваш взгляд, какая опенсорсная модель лучше всего знает русский язык (и LLM, и какую лучше модель использовать для получения эмбедингов)?
Виталий добрый день! Может вы подскажете можно ли повысить качество Embedding если вместо текстовых документов подавать OWL онтологии? Или всё же RAG технология лучше работает с обычными текстовыми описаниями?
Виталий, спасибо за видео, может быть вы подскажете, я в нейросетях дуб дубом, вопрос у меня примитивный, как сделать чтобы локальная нейросеть могла открывать сайты? Устанавливал разные нейросети через Ollama и Open WebUi, они все пишут что не могут выходить в интернет, надо копировать в ручную. И в гугле не могу найти ответ, не знаю как сформулировать, не выдает то что надо, выдает что локальные нейросети хороши именно тем, что работают без интернета. Только в Open WebUI удалось найти некий костыль, там если перед ссылкой поставить # то сначала загрузится статья, а потом можно писать промт для нейросети. Но и это у меня почему-то не заработало. Я уверен что должно быть какое-то приложение, или расширение, которое без всякого кода, просто устанавливается в Ollama или Open WebUI, открывает ссылки и передает текст статьи нейросетям.
Открытие сайтов это внешний функционал к нейросети. В примере из видео вместо данных по API можно подставить результат поиска в гугле или другой поисковой системе.
@@kuliev.vitaly Спасибо за ответ, в общем я явно не по адресу с таким вопросом, мне надо поискать что-то для младшего школьного возраста)) До понимания как на практике реализовать пример из вашего видео, мне еще как до луны)
@@kuliev.vitaly Так там та же самая история, вручную копировать надо. Вот даже в вашем видео по-моему есть простой функционал, просто кнопка "добавить документ". И я просто уверен что существует такой же функционал в виде кнопочки "добавить ссылку". И вся проблема только в том что я не могу это найти. Если этого не существует, то это просто удивительно. Ведь для айтишника сделать такое это раз плюнуть. На этом даже деньги можно заработать, сделать это в виде привычной программы, кнопочки "установить нейросеть" "добавить документ" "добавить ссылку на статью" "скачать весь сайт". Вот пример в вашем видео, про сайт Консультант Плюс, это же на бытовом уровне супер удобно, для обычн. пользователя, сразу получить ответ у себя на компе, по всем законам, по ЖКХ, по налогам, и т.д. Мне кажется такая программа хорошо бы продавалась, я бы сам купил.
Мм а подойдет ли какой нибудь мини пк для сервера ? У меня на примете мнини пк: Ninkear Мини-ПК T9 Plus RU (Intel Processor N100, RAM 16 ГБ, SSD 512 ГБ, Intel UHD Graphics, Windows). На нём выйдет обучить нейросетку в контексте прдеполагаемых задач ? И у вас есть на канале видео где вы показываите как обучать нейросетку ?
Обучить наверно выйдет, другое дело что результат смогут увидеть только ваши внуки. У меня есть ноутбук с процессором i3, примерно сравнимым с N100, я на нем пробовал устанавливать самые легкие нейросетки, весом 1b и 3b, работают, но скорость ответа примерно слово в секунду. Обучение на таком железе, это наверно годы будет происходить.
@@СергейМедведев-р7и аа ну да, я не подумал что проблема в том что для нейронок либо нужные мощные прцоессоры и оперативка или мощные видюхи и оперативка. Я просто смотрел на оперативку...
Интерессно! Думал вы про RAG system (Красно-Жёлто-Зелёную систему)
RAG stands for Red, Amber, and Green, and is a color-coded system used in project management
в любом случае спасибо от души! было бы шикарно не большой пример создания RAG. прям вот топ топов был бы. по этой теме информации очень мало..
Виталий, спасибо! С удовольствием смотрю ваши видео! Нравится что очень качественный контент даете. Можете практический пример с 1с разобрать в видео? Тема очень интересная и думаю будет крайне полезная для огромного числа компаний у которых учет на 1с построен.
Виталий, спасибо за ролик!
Сможете показать пример кода на питоне для описанной в примере задачи? Было бы очень интересно!
Кстати, отмечу что, в сравнении с предыдущими роликами, есть субьективное ощущение, что этот ролик вышел чуть затянутым
Если данных много и они мало изменчивы/статичны, то кажется что переодический файнтюн будет лучше RAG (если не нужна именно справочная система). Например с помощью qlora. Верны ли мои рассуждения на этот счет?
В любом случае был бы рад увидеть ролик с примером дообучения на своих данных
Файнтюнинг работает, но при этом его тяжело изменять. В РАГ можно добавить новы еданные в векторную БД или изменить промпт. Эти правки сразу можно протестировать на проблемных запросах.
@@kuliev.vitaly потому и сказал что данные по сути статичны и задача не подразумевает частое обновление датасета. Условно прилетает большой пакет документов с проекта раз в квартал, то можно каждый квартал файнтюнить условную llama с нуля на новой версии датасета. Цель в том, чтобы llm зная множество зависимостей этого большого проекта давала лучшие ответы.
Если делать чисто через rag то каждый запрос будет тащить тонны документов
Добрый день.
В названии видео упоминается 1С. Как это относится к сути содержания вашего видео?
Из 1C можно выгружать данные по API. Пример с интернет магазином как раз относится к 1c, как наиболее частый продукт автоматизации.
Спасибо за ролик!
Можете ли вы порекомендовать какие-нибудь готовые RAG системы для домашнего использования? Ну которым можно скормить например свой обсидиан волт либо репозиторий с кодом и она сама по ним сделает эмбеддинги и поможет потом с формированием финального запроса в ллм (либо даже отправит его куда настроишь)?
Для написания кода использую codegpt плагин в пайчарме. В контекст можно добавить необходимые файлы. Хорошо помогает в разработке.
@@kuliev.vitaly ну есть ещё cursor для кода - он имхо лучше
Однако не все задачи ограничиваются кодом. Иногда надо натравить llm на большой пакет документации. Не хотел писать свою систему для rag, а среди доступных реализаций пока не решил на какой остановиться. Подумал мб вы с чем-то уже сталкивались
Виталий, расскажите как зафайнтюнить лламу 2b до чатгпт омни на обычном инженерном калькуляторе?
)))
Виталий, спасибо за вашу работу!
Подскажите, пожалуйста, на ваш взгляд, какая опенсорсная модель лучше всего знает русский язык (и LLM, и какую лучше модель использовать для получения эмбедингов)?
Qwen2.5-72b-Instruct хорошо работает с русским языком. Эмбединги сильно зависят от доменной области.
Несколько дней назад вышла aya-expanse с весами 8b и 32b - она по мультиязычности выглядит наиболее корректной. То есть по-русски делает мало ошибок.
@@kuliev.vitaly Посоветуйте парочку опенсорсных, если не трудно)
Qwen2.5-72b-Instruct, Llama 70b
Виталий добрый день! Может вы подскажете можно ли повысить качество Embedding если вместо текстовых документов подавать OWL онтологии? Или всё же RAG технология лучше работает с обычными текстовыми описаниями?
Тут только пробовать на ваших данных. Попробуйте сделать саммари из документов и эмбединги считать по ним.
Виталий, спасибо за видео, может быть вы подскажете, я в нейросетях дуб дубом, вопрос у меня примитивный, как сделать чтобы локальная нейросеть могла открывать сайты? Устанавливал разные нейросети через Ollama и Open WebUi, они все пишут что не могут выходить в интернет, надо копировать в ручную. И в гугле не могу найти ответ, не знаю как сформулировать, не выдает то что надо, выдает что локальные нейросети хороши именно тем, что работают без интернета. Только в Open WebUI удалось найти некий костыль, там если перед ссылкой поставить # то сначала загрузится статья, а потом можно писать промт для нейросети. Но и это у меня почему-то не заработало. Я уверен что должно быть какое-то приложение, или расширение, которое без всякого кода, просто устанавливается в Ollama или Open WebUI, открывает ссылки и передает текст статьи нейросетям.
Открытие сайтов это внешний функционал к нейросети. В примере из видео вместо данных по API можно подставить результат поиска в гугле или другой поисковой системе.
@@kuliev.vitaly Спасибо за ответ, в общем я явно не по адресу с таким вопросом, мне надо поискать что-то для младшего школьного возраста)) До понимания как на практике реализовать пример из вашего видео, мне еще как до луны)
тогда можно писать промпты на lmarena.ai/
@@kuliev.vitaly Так там та же самая история, вручную копировать надо. Вот даже в вашем видео по-моему есть простой функционал, просто кнопка "добавить документ". И я просто уверен что существует такой же функционал в виде кнопочки "добавить ссылку". И вся проблема только в том что я не могу это найти. Если этого не существует, то это просто удивительно. Ведь для айтишника сделать такое это раз плюнуть. На этом даже деньги можно заработать, сделать это в виде привычной программы, кнопочки "установить нейросеть" "добавить документ" "добавить ссылку на статью" "скачать весь сайт". Вот пример в вашем видео, про сайт Консультант Плюс, это же на бытовом уровне супер удобно, для обычн. пользователя, сразу получить ответ у себя на компе, по всем законам, по ЖКХ, по налогам, и т.д. Мне кажется такая программа хорошо бы продавалась, я бы сам купил.
Мм а подойдет ли какой нибудь мини пк для сервера ?
У меня на примете мнини пк: Ninkear Мини-ПК T9 Plus RU (Intel Processor N100, RAM 16 ГБ, SSD 512 ГБ, Intel UHD Graphics, Windows).
На нём выйдет обучить нейросетку в контексте прдеполагаемых задач ? И у вас есть на канале видео где вы показываите как обучать нейросетку ?
Обучить наверно выйдет, другое дело что результат смогут увидеть только ваши внуки. У меня есть ноутбук с процессором i3, примерно сравнимым с N100, я на нем пробовал устанавливать самые легкие нейросетки, весом 1b и 3b, работают, но скорость ответа примерно слово в секунду. Обучение на таком железе, это наверно годы будет происходить.
@@СергейМедведев-р7и аа ну да, я не подумал что проблема в том что для нейронок либо нужные мощные прцоессоры и оперативка или мощные видюхи и оперативка. Я просто смотрел на оперативку...
маленькие нейросети можно обучить, но очень долго.