100% ЛОКАЛЬНЫЙ и ПРИВАТНЫЙ GPT - PrivateGPT
Вставка
- Опубліковано 15 чер 2024
- В этом видео, я показываю как устанавливается privateGPT. Это полностью локальный аналог ChatGPT и других языковых моделей.
Телеграм канал "Выпусти джуна из лампы":
t.me/+UlnX5EHIspdjNDVi
Здесь я помогаю начинающим айтишникам получить свой оффер мечты
Ссылки:
PrivateGPT - github.com/imartinez/privateGPT
Таймкоды:
0:00 - Вступление
0:20 - Проблема и эксперимент
1:20 - privateGPT
2:35 - Установка privateGPT
3:30 - Установка Python
4:10 - Клонирование репозитория
4:50 - Создание виртуального окружения
5:50 - Установка Poetry и других пакетов
9:55 - Запуск локального GPT без GPU
11:25 - Настройка privateGPT для работы через GPU
12:55 - Запуск локального GPT с GPU
13:25 - Немного про работу внутри privateGPT
14:00 - Мои планы по эксперименту с имитацией разработки с помощью LLM
14:55 - Небольшие нюансы по установке Build Tools и CUDA
16:00 - Вместо заключения - Наука та технологія
Подписался и поставил лайк хотябы просто потому что без музыки на фоне с хорошо поставленной речью и заготовленной структурой видео человек смог рассказать всё что требовалось по данной теме.
Приятно видеть образованного человека, говорящего по теме! Пожалуйста, продолжайте в том же духе! Отличный обзор!
Спасибо за столь подробный гайд по установке! Столкнулся в проблемой по работе с qdrant, но быстро нашёл решение поменять на chroma. Всё остальное прошло без проблем. И да, запускал на Ubuntu 22.03 под WSL2. Лайк и подписка!
Thank you! The other strategies with other youtuber's had not worked previously until I followed yours.
Ничего себе размах. Крутые планы. Будет интересно посмотреть что из этого получится. Удачи!
Очень информативное и хорошее видео! Большое спасибо автору. Очень интересно, что будет дальше
Спасибо!
Друг! Спасибо тебе! Я написал Prompt и PrivateGPT уже во всю помогает мне с моими задачами в коде. Спасибо!
Можно поподробнее, как писать этот промт, что бы помогал с кодом. Спасибо
Круто! Ждем продолжения.
С таким интересом я видос еще не смотрел) спасибо, взял на вооружение
Видео класс. Можешь показать как обучать на своих данных, допустим базу подключить офисную
4:43 Для MacOS (пришлось искать самому):
1. Предварительно нужно выйти в корневую попку пользователя: cd ~
2. Установка и создание виртуального окружения: python3 -m venv localGPT
3. Активация виртуального окружения: source localGPT/bin/activate
В дальнейшем вместо "py" использовать "python3"
очень интересно! надеюсь все получится! удачи!
Спасибо!
Спасибо! Ждем след. вид. как загрузили свою базу знаний и каковы результаты.
Очень близко к тому что я ищу, спасибо, буду пробывать!
Всё получилось, ждём дальнейшего развития.
Я, хотел бы к этой модели присоединить заметки из Obsidian они в формате md маркдаун, и хотел бы чтоб я делал заметки так же в Обсидиане, а запросы в этом локальном чате. Было бы круто.
Тоже сразу об этом подумал =)
А вдруг gpt+obsidian=сильный ИИ... куды тогда бечь? Шутка.
Странно, но как только я начал изучать obsidian, то попалось это видео.думаю, это не совпадение
Не совпадение ИИ уже подсказывает человеку как и что делать, чтобы полностью заменить собой человечество. (Сарказм, если что)
Ждем других видео. Тоже работаю над этой темой.
Ждём видео с тестами скармливания файлов и работы с ними
аналогично
Ага
Полезно, жду добавление своих файлов
Большое уважение за видос👍👍👍👍👍👍
Огромное спасибо то что искал.
супер, спасибо
можно завернуть всё в докер (если еще нет нет готового имиджа), что систему не мучать
Спасибо за видео! хотелось бы узнать характеристики вашего ноутбука, в частности cpu, gpu
Искал что-то подобное. Надо попробовать.
Вперед и успехов, расскажите о своем опыте тоже ради интереса)
Неплохое руководство
Есть путь проще - LM Studio
Человечище, отдельный респект за цу по работе с репозиторием!
Спасибо!
А не подписаться ли мне (подумал я)? И...подписался!😊Дело за малым: продолжайте!
Спасибо за приятные слова!
Спасибо Киану Ривз. Очень хорошее видео
poetry install --with ui не сработало до установки именно pip install poetry (без pipx)
+
Спасибо, еще хотелось бы что-то вроде топа моделей увидеть, какие локальные модели ближе всего к гпт4 можно использовать? Я бы хотел максимально нагрузить свое железо (64gb ddr5, gpu: 7800xt с 16гб видеопамяти)
Подписался. Спасибо!
Здравствуйте. Спасибо, полезно 🙂🙂 Можно узнать ваши характеристики пк: процессор, видеокарта?
жду продолжения с добучением.
Благодарю!
Спасибо !
Это LLAMA и Mistral, обе по 7B параметров. Попробуй Phi-2 от Микрософт, она выигрывает по бенчмаркам. У маленьких моделей размер контекста не очень тоже. Это надо будет учитывать при разработке.
Спасибо за труд!
Круть! Тоже хочу дома своего Джарвеса...
Ахаха)) Да, это прям реально Джарвис на минималках
Сколько информации она способна принять для дообучения? Сколько токенов способна принять и сколько вернуть? И какого года у нее база данных?
Привет, а можешь сделать урок, как свою нейронку обучать, именно в этом пакете? К примеру после обучения свою модель подгрузить и т.д. Спасибо
кишка тонка у твоего компа для обучения, только максимум на gpt2.
Спасибо ! Очень ценная информация! Потому что немного напрягает эта вся хрень с маркетингом глобальных GPT и всей этой байды про генерацию картинок и аватарок, которые имеют негативную полезность.
Интересно, тоже полный ноль в программирование учусь на коленке, спасибо за инструкцию и "легкость языка". А Вы не пробывали сделать что-то подобное но уже на сервере в облаке, чтобы можно было зайти в "свой gpt" с любого устройства ?
познавательно😊
Очень приятная грамотная речь.
Под WSL2 не пробовали установить? Такие линуксовые вещи ставить под windows - много лишних телодвижений (powershell, vs минус build tools,..).
На мак ставил другу, там довольно быстро встало, на линукс еще не пробовал
Здравствуйте. Подскажите чисто теоритически с помощью нейросетей возможно создать предположим простой стриминговый сервис на блокчейне ?
Здравствуйте, как можно заменить используемую модель для общения на свою? Хотел бы использовать свою модель для экспериментов
Спасибо интересно, а какая конкретно модель используется? LLama?
Да
12:51 Ребят, это LLAMA
А какой минимальный объем памяти на GPU нужно? Какая у вас модель GPU?
У меня RTX 3070 8Gb
Сделал всё как написано, но на этапе poetry install --with ui возникает ошибка “Group(s) not found: ui (via --with)". Подскажите пожалуйста с чем это может быть связано. Спасибо
Очень интересно. Давно думал о безинтернетном чат GPT. Непонятно только насколько старая версия чата.
Громкость звука на видео иногда сильно возрастает. Ну и было бы неплохо акать поменьше, раз в сто.
ахах, спасибо за ценные советы) Учту обязательно!
А ведь уже должны существовать нейросети, которые убирают дефекты речи, например аканье или картавость
В свое время купил видеокарту от AMD, давльно производительную, но как вижу сейчас в основом все локальные нейросети работают с CUDA, поддерки ROCm нет. Хотел бы узнать может ты знаешь похожую модель с поддержкой ROCm на Linux? Естсетвенно приходится использовать Linux, так как у WIndows нет поддрежи ROCm.
Посмотрел я репозиторий этой штуки. Работает она вроде на pytorch, а он ROCm поддерживает. Большая часть фреймворков для машинного обучения поддерживают ROCm уже давно, так что вопрос в настройке и отсутствии гайдов по конкретным моделям.
А реально ли её дообучить на каких-то собственных доках? Например, скормить документацию по толком непроиндексированному в паблике движку.
Да, она это делает и неплохо справляется
Как раз искал куда можно скормить внутренню документацию, чтобы потом через нейросеть делать поиск нужного
То есть это считай свой чат гпт без использования платного апи которого ты сам обучаешь? А можно его обучить и поставить на сервер без 5 гб и чтобы он отвечал людям по определнной теме?
Её можно натравить для обучения на форум в интернете и потом спрашивать по его материалам?
Есть модель для С++? Просто хочу понять есть ли смысл его качать. Например он может написать сортировку с помощью итераторов?
Подробнее пожалуйста о данной модели, есть Русский язык, как она с документами работает и так далее.
Благодарен за откровенность о трудностях с которыми вы сталкивались и ответами на эти трудности.
С сам пытался локально установить несколько моделей но заработала только одна (из шести) это Alpaca electron а модель конкретно не скажу нет сейчас такой возможности. иесли заинтересовао то напишу точно модель. 😊
Да, есть русский язык, но в приоритете английский конечно де
@@takethejunioroutofthelamp а можно работать через обычный браузер на запросах?
@@user-bs4yb6me3k
вопрос:
что написано в документе х ?
ответ:
Hello! I'm an assistant designed to help answer questions in English. If you have a question or topic you'd like assistance with, please feel free to ask in English and I will
так что с русским она не работает.
расскажите , плиз, об установке на локальную машину AUTOGPT. Можно его замкнуть не на API ChatGPT, а на данную модель, установленную локально? Так чтобы получился полностью автономный агент.
На Windows поставьте Windows Studio Build tools. Без них llama_cpp_python не собирался, возможно и др пакеты
Русский язык оно поддерживает? Было бы интересно послушать как скармливали свои данные для обучения и что в итоге получилось.
Он мультиязычный. Может даже переводить с английского на русский, грамматика немного хромает, но в целом годная штука)
Фрагмент ок. 11:00, где GPT на _Hey_ отвечает _Hello_ - это, похоже, работает "заглушка", а не реальная LLM.
В документации по этому поводу сказано: _You should see a Gradio UI configured with a mock LLM that will echo back the input_
Вопрос - как эта LLM в сравнении с другими LLM с открытым кодом?
stableLM, h2oGPT, Open Assistant, RWKV, еще есть LLAMA и alpaca
Это LLAMA
Оно контекст быстро упускает из вида?
BLAS = 1 у меня показал но вот я вообще не ощутил прироста производительность карта 3050 - может какие то настройки еще нужны? у меня еще есть gpu на cpu - может он не тот юзает я хз
FreedomGPT работает на кпу так же быстро.
ну ты бы изначально с хаггин фэйс бы дал модель... а так интересно было вроде.. палец вверх
если будет разбор на разных LLM с их требовательностью дам ещё))
Можно ли запустить на оперативной памяти и сколько будет хавать?
Целый день провозился с ошибкой No CUDA toolset found
Solution:
I copied the four files from C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1\extras\visual_studio_integration\MSBuildExtensions
And pasted into C:\Program Files\Microsoft Visual Studio\2022\Community\MSBuild\Microsoft\VC\v170\BuildCustomizations
Не могу выполнить команду poetry install --with ui пишет: poetry : Имя "poetry" не распознано как имя командлета, функции, файла сценария или выполняемой программы. Проверьте пр
авильность написания имени, а также наличие и правильность пути, после чего повторите попытку.
строка:1 знак:1
+ poetry install --with ui
+ ~~~~~~
+ CategoryInfo : ObjectNotFound: (poetry:String) [], CommandNotFoundException
+ FullyQualifiedErrorId : CommandNotFoundException
если память не изменяет нужно выполнить pipx ensurepath чтобы poetry стало доступно, перезапустить окно командной строки и выполнять уже дальше. Или как ниже посоветовали установить так python -m pip install poetry
Привет! Какую версию CUDA вы ставили? У меня работает только на CPU, команда переключения на gpu заканчивается ошибкой что llamacpp не может найти путь к cuda
Жаль, заметно медленнее работает?
В видео было показано как я устанавливал CUDA, найдите и посмотрите пожалуйста
Если поделитесь текстом ошибки или скрином, было бы легче вам помочь
Та програмируй на процесоре, не исполняй 😂😂😂
ясен пень тяжеленькие штуки надо на питоне е#енить, это же прекрасно
Здравствуйте. Никак не хочет устанавливаться llama-cpp-python. Пробовал и разные версии ставить. Ошибка.
Тем не менее, подписался. С наступающим Новым Годом!
P.S. Нашёл решение - нужно доустановить пакер C++ в Visual Studio 2022
Но возникла ситуация, когда GPT работает лучше на процессоре ( i7-12650H), чем на видеокарте (MX 550) и я не знаю как вернуться к использованию CPU.
MX550 слишком старая и бесполезна для ML задач. Минимальная видюха, насколько помню, Geforce 20-ой серии, и памяти на карте как можно больше, не менее 8ГБ (многие пишут, что кол-во памяти даже важнее свежести процессора, т.е. GF 3060 с 16ГБ лучше чем 4060 с 8ГБ. Откатиться на режим CPU в крайнем случае можно удалением и переустановкой с нуля, но скорее всего надо где-то один ключик в строке запуска поменять (найти нужный запускаемый файл с конфигом).
@user-wb9tg6wj5y
powershell
$env:CMAKE_ARGS='-DLLAMA_CUBLAS=off'
poetry run python -m pip install --force-reinstall --no-cache-dir llama-cpp-python
exit
а не отправляет ли оно разработчикам что-то или контролируемая разработчиками?
Видео уникальное! Теперь вопрос: на linux возможна ли установка?
Да, в инструкции есть описание установки на linux)
@@takethejunioroutofthelamp ага!значит мне подойдет!
Если у кого-то не запускается, то проверьте, что бы физическое имя папки совпадало с именем в скрипте. У меня папка называлась PrivateGPT, но в скрипте папка вызывалась privategpt, я 3 часа никак не мог понять. Оказывается скрипт чувствителен к регистру!!
Если gpt скормить файл на русском языке то он его не обработает( модель обрабатывает только английский
Все делаю, по инструкции. Не получается, можете подсказать, в чем может быть проблема?
А как дообучить модель?
Давно мечтаю установить для личного использования.. Типа собственный ИИ - ассистент. Но чёт заморочено слишком.. Как всегда с этими линуксоидными проектами.. 100500 зависимостей, 100500 пакетов, 100500 конфликтов... А на какой конкретно видеокарте запускался gpt в этом видео?
RTX 3070 8Gb
из всех замечаний - очень тихий звук, но периодически он прыгает на очень высокий уровень, к примеру среднее значение звукового индикатора 20% достаточно для 99% видео на вашем пришлось выкрутить на 80!
А какая у Вас видеокарта на ноуте при запуске privateGPT ?
RTX 3070 8Gb
Автор в виртуальной среде тоже не смог подключить GPU . Поэтому запустил не из виртуальной среды, но почему то про это промолчал
А как установить все это на Linux? Мне кажется, было бы очень круто, если бы вы записали такой обзор, наверняка очень многих эта тема заинтересует)
в чем разница то
пакет CUDA входит в драйвера уже давно, странно что сразу на видео карте не запустилось
Делал всё как на видео но столкнулся с ошибкой. Как её исправить?
(localGPT) C:\Users\Serega\privateGPT>poetry install --with ui
"poetry" не является внутренней или внешней
командой, исполняемой программой или пакетным файлом.
попробуйте удалить весь python и anaconda на компьютере и переустановите. У меня сработало
На каком железе запускали?
пробую за автором повторять. установлен вин10-64. возможно у автора что-то еще было установлено. у меня ошибка на этапе установки библиотек Installing llama-cpp-python (0.2.23): Failed. даже отдельно устанавливать пробовал но все равно ошибка CMake build failed. и даже vc2017 установил.
PrivateGPT пункт Troubleshooting: C++ Compiler. Автор поленился для простых пользователей, сделав так если у тебя были все эти программы.
@@commandergdi9795 спасибо, но я доустановил все и ничего не помогло. возможно все же не все, но что автор упоминал и что оно потом само предлагало, включая распространяемый пакет вижуал си.
Настрадался я конечно, но все-равно тупит джестко
Здравствуйте! При использовании команды "poetry install --with local" у меня возникает вот такая ошибка : at C:\AiWork\localGPT\Lib\site-packages\poetry\installation\chef.py:164 in _prepare
160│
161│ error = ChefBuildError("
".join(message_parts))
162│
163│ if error is not None:
→ 164│ raise error from None
165│
166│ return path
167│
168│ def _prepare_sdist(self, archive: Path, destination: Path | None = None) -> Path:
Note: This error originates from the build backend, and is likely not a problem with poetry but with llama-cpp-python (0.2.23) not supporting PEP 517 builds. You can verify this by running 'pip wheel --no-cache-dir --use-pep517 "llama-cpp-python (==0.2.23)"'.
А как решить не заю, помогите пожалуйста!
У меня тоже(
Так а чем это лучше text-generation-webui так и не понял. Чем то же он должен быть лучше, раз ты на него обратил внимание.
Я не сравнивал честно говоря, просто взял первое что понравилось и выдал.
Если есть желание сравнить, был бы рад увидеть результаты)
давно мучает вопрос, хочу узнать - сгорит ли видеокарта или компьютер если много пользоваться таким локальным чат гпт? Мне кажется это огромная нагрузка на комп, в железе не разбираюсь.
Люди майнили годами 24/7 на видео картах, а тут она вообще ничего не почувствует.
@@ISinicyn да нифига, читал после майнинга карта убитая в хлам (раньше такие продавали на авито после майнинга)
@@Fillmore634b еще раз майнили 24/7 годами, тут же нагрузка грубо 10 минут в сутки
пожалуйста помогите у меня на этапе /poetry install --with ui 8:05
"poetry" не является внутренней или внешней
командой, исполняемой программой или пакетным файлом.
я вроде решил, нашел на одном из сайтов путь к поетри скопировал оттуда файлы в локал джпт и снова запустил эту команду
Вам нужно прописать полный путь до poetry
@@takethejunioroutofthelamp автор привет, спасибо за ответ, а можеш рассказать какой у тебя пк вкратце даже, и еще как идея можете записать про настройку лм студио, я смотрел на русском почти никто нормально не рассказал
У меня почему то не установилась CUDA Toolkit, ошибку кидает, драйвер свежий, видюха 4070 супер, проц. Райзен 7 5800х, может подскажите что не так?
А у автора видео какие характеристики? Не могу найти название его процессора и видеокарты
Всё ставится там где есть git poetry, pipx и так далее, а куда их ставить, в какие папки хз. И потом ничего не работает
Ничего не понял)
Привет, какая видюха? ну что бы понимать минимальные требования. а в плане языка, на русском работает? или что то нужно дополнительно ставить?
Rtx 3070 на ноуте
У меня poetry в командой строке после всех действий пишет, что не является внутренней или внешней командой, исполняемой программой или пакетным файлом.
Такая ошибка говорит о том, что poetry не добавлен в path. Решения два: первое обращаться к poetry полным путем, второе - загуглить как можно добавить poetry в path
@@takethejunioroutofthelamp я добавлял сразу в path потом самостоятельно ибо знаю эту ошибку, но это не помогло, помогла команда python -m pip install poetry
@@Danekzaryazhennyyкрасава, пол часа протыркался, ладно хоть в комменты решил залезть, спасибо
Что , уже ? А я от очень компетентного дядьки вчера слышал что он обещает полноценный автономный джипити чат на смартфоне без интернета к концу года . Там речь шла о том что это ужмется до 2 гигабайт.
Вот этот уважаемый человек ua-cam.com/video/xOr80pCpd0k/v-deo.htmlsi=bxkMUFYFFqBf3ZSf
Тоже хочу верить, ух, что нас ждет)
poetry run python scripts/setup почему ошибка command not found, остальное все прошло без ошибок
Боюсь, что главный вопрос тут - а зачем вообще повышать частоты? Задач, где не хватает текущих частот не просто мало, а очень-очень мало. Попробуй найди еще такую. Оверклокинг потому и потерял популярность, что публика перестала понимать, зачем это нужно. Вот то ли дело было во времена FX...
Сейчас же у меня вон проц по бумагам может до 4,7ГГц, но работает на 3,8ГГц. А потому что я залочил частоты ему - 25% мощности не такая и большая потеря, а вот нагрев, шум охлаждения и износ железа - куда критичнее.
@@user-ew2wq2zx5x
Погоди лет 50, тогда посмотрим.
@@user-ew2wq2zx5x какие 5 лет? 11900k вышел в марте 2021 года, трех лет еще не прошло.🙂
Привет! Без подключения к интернету работает? Это реали локал или фака 🤤
Рил