Нейросеть + 1С. RAG системы для бизнеса

Поділитися
Вставка
  • Опубліковано 31 жов 2024

КОМЕНТАРІ • 30

  • @amphortas1
    @amphortas1 День тому

    Интерессно! Думал вы про RAG system (Красно-Жёлто-Зелёную систему)
    RAG stands for Red, Amber, and Green, and is a color-coded system used in project management

  • @IT_psychopath
    @IT_psychopath 2 дні тому +3

    в любом случае спасибо от души! было бы шикарно не большой пример создания RAG. прям вот топ топов был бы. по этой теме информации очень мало..

  • @ИгорьИванов-м3д6к
    @ИгорьИванов-м3д6к Годину тому

    Виталий, спасибо! С удовольствием смотрю ваши видео! Нравится что очень качественный контент даете. Можете практический пример с 1с разобрать в видео? Тема очень интересная и думаю будет крайне полезная для огромного числа компаний у которых учет на 1с построен.

  • @user-xx6wh5nm4s
    @user-xx6wh5nm4s 9 годин тому

    Виталий, спасибо за ролик!
    Сможете показать пример кода на питоне для описанной в примере задачи? Было бы очень интересно!
    Кстати, отмечу что, в сравнении с предыдущими роликами, есть субьективное ощущение, что этот ролик вышел чуть затянутым

  • @AlexP-fg3ci
    @AlexP-fg3ci 2 дні тому +1

    Если данных много и они мало изменчивы/статичны, то кажется что переодический файнтюн будет лучше RAG (если не нужна именно справочная система). Например с помощью qlora. Верны ли мои рассуждения на этот счет?
    В любом случае был бы рад увидеть ролик с примером дообучения на своих данных

    • @kuliev.vitaly
      @kuliev.vitaly  2 дні тому

      Файнтюнинг работает, но при этом его тяжело изменять. В РАГ можно добавить новы еданные в векторную БД или изменить промпт. Эти правки сразу можно протестировать на проблемных запросах.

    • @AlexP-fg3ci
      @AlexP-fg3ci 2 дні тому

      @@kuliev.vitaly потому и сказал что данные по сути статичны и задача не подразумевает частое обновление датасета. Условно прилетает большой пакет документов с проекта раз в квартал, то можно каждый квартал файнтюнить условную llama с нуля на новой версии датасета. Цель в том, чтобы llm зная множество зависимостей этого большого проекта давала лучшие ответы.
      Если делать чисто через rag то каждый запрос будет тащить тонны документов

  • @vladimirloginov8567
    @vladimirloginov8567 2 дні тому +2

    Добрый день.
    В названии видео упоминается 1С. Как это относится к сути содержания вашего видео?

    • @kuliev.vitaly
      @kuliev.vitaly  2 дні тому

      Из 1C можно выгружать данные по API. Пример с интернет магазином как раз относится к 1c, как наиболее частый продукт автоматизации.

  • @AlexP-fg3ci
    @AlexP-fg3ci 2 дні тому +1

    Спасибо за ролик!
    Можете ли вы порекомендовать какие-нибудь готовые RAG системы для домашнего использования? Ну которым можно скормить например свой обсидиан волт либо репозиторий с кодом и она сама по ним сделает эмбеддинги и поможет потом с формированием финального запроса в ллм (либо даже отправит его куда настроишь)?

    • @kuliev.vitaly
      @kuliev.vitaly  2 дні тому

      Для написания кода использую codegpt плагин в пайчарме. В контекст можно добавить необходимые файлы. Хорошо помогает в разработке.

    • @AlexP-fg3ci
      @AlexP-fg3ci 2 дні тому

      @@kuliev.vitaly ну есть ещё cursor для кода - он имхо лучше
      Однако не все задачи ограничиваются кодом. Иногда надо натравить llm на большой пакет документации. Не хотел писать свою систему для rag, а среди доступных реализаций пока не решил на какой остановиться. Подумал мб вы с чем-то уже сталкивались

  • @alexanderacriptis510
    @alexanderacriptis510 2 дні тому +2

    Виталий, расскажите как зафайнтюнить лламу 2b до чатгпт омни на обычном инженерном калькуляторе?

  • @НикитаЛазарев-п2п
    @НикитаЛазарев-п2п 3 дні тому +2

    Виталий, спасибо за вашу работу!
    Подскажите, пожалуйста, на ваш взгляд, какая опенсорсная модель лучше всего знает русский язык (и LLM, и какую лучше модель использовать для получения эмбедингов)?

    • @kuliev.vitaly
      @kuliev.vitaly  3 дні тому +2

      Qwen2.5-72b-Instruct хорошо работает с русским языком. Эмбединги сильно зависят от доменной области.

    • @dolotube
      @dolotube 3 дні тому +1

      Несколько дней назад вышла aya-expanse с весами 8b и 32b - она по мультиязычности выглядит наиболее корректной. То есть по-русски делает мало ошибок.

    • @НикитаЛазарев-п2п
      @НикитаЛазарев-п2п 3 дні тому

      @@kuliev.vitaly Посоветуйте парочку опенсорсных, если не трудно)

    • @kuliev.vitaly
      @kuliev.vitaly  3 дні тому +1

      Qwen2.5-72b-Instruct, Llama 70b

  • @АлександрКлимович-з6и

    Виталий добрый день! Может вы подскажете можно ли повысить качество Embedding если вместо текстовых документов подавать OWL онтологии? Или всё же RAG технология лучше работает с обычными текстовыми описаниями?

    • @kuliev.vitaly
      @kuliev.vitaly  3 дні тому +1

      Тут только пробовать на ваших данных. Попробуйте сделать саммари из документов и эмбединги считать по ним.

  • @СергейМедведев-р7и

    Виталий, спасибо за видео, может быть вы подскажете, я в нейросетях дуб дубом, вопрос у меня примитивный, как сделать чтобы локальная нейросеть могла открывать сайты? Устанавливал разные нейросети через Ollama и Open WebUi, они все пишут что не могут выходить в интернет, надо копировать в ручную. И в гугле не могу найти ответ, не знаю как сформулировать, не выдает то что надо, выдает что локальные нейросети хороши именно тем, что работают без интернета. Только в Open WebUI удалось найти некий костыль, там если перед ссылкой поставить # то сначала загрузится статья, а потом можно писать промт для нейросети. Но и это у меня почему-то не заработало. Я уверен что должно быть какое-то приложение, или расширение, которое без всякого кода, просто устанавливается в Ollama или Open WebUI, открывает ссылки и передает текст статьи нейросетям.

    • @kuliev.vitaly
      @kuliev.vitaly  2 дні тому

      Открытие сайтов это внешний функционал к нейросети. В примере из видео вместо данных по API можно подставить результат поиска в гугле или другой поисковой системе.

    • @СергейМедведев-р7и
      @СергейМедведев-р7и 2 дні тому

      @@kuliev.vitaly Спасибо за ответ, в общем я явно не по адресу с таким вопросом, мне надо поискать что-то для младшего школьного возраста)) До понимания как на практике реализовать пример из вашего видео, мне еще как до луны)

    • @kuliev.vitaly
      @kuliev.vitaly  2 дні тому

      тогда можно писать промпты на lmarena.ai/

    • @СергейМедведев-р7и
      @СергейМедведев-р7и День тому

      @@kuliev.vitaly Так там та же самая история, вручную копировать надо. Вот даже в вашем видео по-моему есть простой функционал, просто кнопка "добавить документ". И я просто уверен что существует такой же функционал в виде кнопочки "добавить ссылку". И вся проблема только в том что я не могу это найти. Если этого не существует, то это просто удивительно. Ведь для айтишника сделать такое это раз плюнуть. На этом даже деньги можно заработать, сделать это в виде привычной программы, кнопочки "установить нейросеть" "добавить документ" "добавить ссылку на статью" "скачать весь сайт". Вот пример в вашем видео, про сайт Консультант Плюс, это же на бытовом уровне супер удобно, для обычн. пользователя, сразу получить ответ у себя на компе, по всем законам, по ЖКХ, по налогам, и т.д. Мне кажется такая программа хорошо бы продавалась, я бы сам купил.

  • @sainthentai7763
    @sainthentai7763 3 дні тому +1

    Мм а подойдет ли какой нибудь мини пк для сервера ?
    У меня на примете мнини пк: Ninkear Мини-ПК T9 Plus RU (Intel Processor N100, RAM 16 ГБ, SSD 512 ГБ, Intel UHD Graphics, Windows).
    На нём выйдет обучить нейросетку в контексте прдеполагаемых задач ? И у вас есть на канале видео где вы показываите как обучать нейросетку ?

    • @СергейМедведев-р7и
      @СергейМедведев-р7и 3 дні тому

      Обучить наверно выйдет, другое дело что результат смогут увидеть только ваши внуки. У меня есть ноутбук с процессором i3, примерно сравнимым с N100, я на нем пробовал устанавливать самые легкие нейросетки, весом 1b и 3b, работают, но скорость ответа примерно слово в секунду. Обучение на таком железе, это наверно годы будет происходить.

    • @sainthentai7763
      @sainthentai7763 2 дні тому

      @@СергейМедведев-р7и аа ну да, я не подумал что проблема в том что для нейронок либо нужные мощные прцоессоры и оперативка или мощные видюхи и оперативка. Я просто смотрел на оперативку...

    • @kuliev.vitaly
      @kuliev.vitaly  2 дні тому

      маленькие нейросети можно обучить, но очень долго.