Лучшее нейросетевое приложение с поиском по интернету, документам и youtube, с ollama и lm studio
Вставка
- Опубліковано 10 чер 2024
- 👉 AnythingLLM : Приватный чат, готовое к работе с корпоративными документами решение для чат-ботов с открытым исходным кодом.
Полнофункциональное приложение, позволяющее вам превратить любой документ, ресурс в контекст, который может использоваться во время общения в чате. Это приложение позволяет вам выбирать, какую нейросеть или векторную базу данных вы хотите использовать, а также поддерживает многопользовательское управление
Этот сервис поддерживает и бесплатные модели, так что можно воспользоватся хоть чат GPT от openai хоть lm-studio и ollama.
Полная кастомизация позволяет настроить интерфейс конкретно под ваи задачи.
Что внутри:
0:00 - введение,
0:56 - стартовая демонстрация,
2:15 - установка,
5:12 - опции,
6:14 - youtube поиск,
7:14 - тест с документами,
11:14 - тест с документами,
12:14 - выводы
подробнее на тему RAG -
• Приватный бесплатный ч...
telegram - codokot
все ссылки по теме видео в телеграм:
t.me/+zTcoFHq7i9AyMWM6
По больше бы обучающих таких бы видео очень интересно. Спасибо за контент.
Благодарствую за такие полезности!
Спасибо вам огромное за видео гайды.!!!!!
пожалуйста!
Как всегда шикарное видео , я вам признателен ))
Я тут протестил и пришел все таки к выводу место AnythingLLM нужно делать свою русскую и сейчас пишу оболочку для моделей на C# это позволит сжимать квантовать модели без потери качество ответа и модели будут гораздо меньше весить значит и ресурсов локального компьютера нужно будет меньше)
проверим
Годнота
СПС за видос
Можно ли подключать не страничку а сайт типа многостраничного форума чтоб самому не читать?
Очень интересно, похоже, то что я искал! Если Вас не затруднит, подскажите. возможно ли в LM Studio в промпт подгружать файлы локально или ссылки с онлайн ресурсов?
в LM Studio нельзя, для этого и показываю, как это делать в AnythingLlm, она также работает локально, можно запросто работать без интернета. Еще есть похожее видео про RAG, его там есть другbе интструменты на эту тему
@@codedd3280 Спасибо! Я так и предполагал, поэтому Ваш гайд прямо в точку.
а можно ли подключать проекты с кодом где много файлов и директорий?
немного непонятно зачем эта прослойка, которая может сливать дату, особенно если она не сертифицирована. ведь в лм студио тоже самое всё
Дополню: Поднял сервак на linux арендовал платный с видяхой на 12gb и 32gb ram, установил там lm studio, на ней выбрал mistral как модель нейронки, и активировал Сервер с дефолтным портом 1234. На домашнем компе установил Anything llm и прописал в настройках модели адрес удалённого сервера, всё завелось ! Подгрузил документ, начал общаться с ним... качество так себе... видимо нужно играться с моделью на серваке, ну и другими настройками....
очень много вопросов -
что за модель, нужно чекать правильно ли подгрузилась lm-studio, и самое главное - язык документов, если русский, то нужно подобрать эмбендинговую модель из списка, который я сбросил в телегу. Еще я сбросил ссылку на бесплатный сервис (до определенных лимитов, но они очень солидные) чтобы ничего не арендовать и не платить. Отдельный вопрос - что для Вас - "качество"
@@codedd3280 Качество, это когда по запросу, из док-та вытягивается нужный мне ответ, информация, как на вашем видео, пока хотя бы так, - но сейчас полная чушь, а ниже он даёт ссылку как будто вытащил это с моего док-та.
если документ на русском - нужна специальная модель, без этого качество может не соответсвовать ожиданиям
Напишите пожалуйста, как настроить сервер. У вас в видео ни чего об этом не сказано.
да, совсем скоро будет видео про железо
давай исчё!
ох и не просто это исчё, много времени и сил, чтобы найти, оттестировать и записать что-то стоящее
@@codedd3280 за это тебе благодарочка