Чтобы удалить Ламу: 1. Завершаем диалог, через команду /bye 2. Пишем ollama rm llama3.1:8b - и жмем enter 3. Если у вас модель 70b, то пишем ollama rm llama3.1:70b
Ну да бесплатно все круто но для того чтобы это все работало нужно серьезное железо. Для запуска модели LLaMA 3.1 требуется достаточно мощное оборудование. Вот основные рекомендации по железу: 1. **GPU**: Рекомендуется использовать графические процессоры с большим объемом видеопамяти, например, NVIDIA A100, V100 или RTX 3090/4090. Для более крупных моделей может понадобиться несколько GPU. 2. **CPU**: Мощный многоядерный процессор, например, Intel Xeon или AMD Ryzen, будет полезен для обработки данных. 3. **Оперативная память (RAM)**: Минимум 16 ГБ, но лучше 32 ГБ или больше для эффективной работы модели. 4. **Хранение данных**: SSD-диск для быстрого доступа к данным. Объем зависит от размера модели и используемых данных для обучения или инференса. 5. **Система охлаждения**: Убедитесь, что система охлаждения достаточна, так как работа с мощными GPU генерирует много тепла. Эти рекомендации могут варьироваться в зависимости от конкретных задач и объема данных, с которыми вы планируете работать.
На конец 2024 - 16Гб оперативки это минимальная норма, если из нет, то в целом много что работать не будет. Самые дешевые MacBook Air в самой минимальной комплектации идут с 16Гб обьединенной памяти. И на них 7b можно запускать. Конечно лучше 32, а еще лучше 64, но это уже другая история.
Привет, с прошедшим Днем рождения тебя))) Супер буста каналу и успехов в жизни. Подскажи пожалуйста, после установки и переноса Ламы и программы, запускаю ее и мне выдает ошибку A JavaScript error occurred in the main process. Удалил, переустановил, перезагрузил комп все ровно вылазит эта ошибка. Комп MacBook Air M1 2020. Версия Секвойя 15.1.1 (24B91)
Привет, Спасибо! В твоем случае проще удалить и не через ollama делать, а через LM Studio, посмотри ролик на моем канале про LM Studio, в разы проще установка!
Даже если бы можно было скачать ChatGPT и Claude, то для запуска этих моделей мало у кого было бы железо, чтобы запустить Llama 405b, которая близка к ЧатуGPT нужен пк стоимостью от 50 000$
Качаю и запускаю многие модели через LM Studio, выглядит и работает намного удобнее, сразу с интерфейсом. Llama 3.1 8B там тоже есть, с кучей вариантов, с HuggingFace. Но по-русски она всё же не очень хорошо пишет. Отвечает грамотно, но если какой-то текст попросить написать, то много ошибок. Mistral мне более грамотным показался.
@@NeuroGeek1 Вот это будет очень интересно, потому что в AnythingLLM у меня RAG-файлы читаться не хотят, видимо, что-то неправильно делаю. А LM-Studio 0.35 прикрепляемые файлы цитирует, т.е. содержимое читает, но когда задаю команды относительно содержимого файла, выдаёт какую-то чушь
@@NeuroGeek1 все хорошо это было обновление open-webui разобрался. Еще раз спасибо Вам! Лама 2023 года а подскажите будут далее какие-то инструкции по обновлению именно самой программы?
Можете немного подсказать, у меня port 3000:8080 не грузится в хроме, может что-то не в той последовательности сделал? После загрузки и установки докера перегрузил комп как было написано. Но после перезагрузки /bye повторно не выполнял… ?
Как раз в следующем ролике рассказываю про RAG-файлы, как можно их применять. Это небольшой тюнинг. А вот чтобы прямо дообучить, тоже можно. Возможно как то расскажу в одном из следующих роликов...
Прекрасно работает и без всяких ненужных докеров, просто ставишь в виртуальную среду и все ок,, Но все это конечно чат ДЖИПИТИ не заменит -хотя довольно хорош если хочешь под себя изменить модель и для ролеплеев
Андрей, посоветуйте нейросеть которая наилучшим образом справится с вычислениями, с большим объёмом данных, рассуждениями в высшей математике, на сколько это возможно без ошибок напишет хороший код.
Если самый ТОП, то он вышел вчера это ChatGPT 1 PRO за 200$ в месяц, я уже купил и тестирую. Если же локально и бесплатно, то Qwen, есть очень жирные модели, которые можно локально установить и они предназначены для написания кода
Что-то эта лама вешает комп. В режиме терминала попросил рассказать о ее разработчиках. Начала отвечать. Потом экран покрылся мелкими квадратиками и всё. Только кнопкой ресет можно оживить.
Здравствуй - просвети пожалуйста для чего нужен этот ДжиПиТи для обычного обывателя кеми являются более 90 населения пользователей ПК , я к примеру занимаюсь дизайном , с железом у меня хвала Аллаху все хорошо - мини ликбез пожелуйста в лаконичной форме (заранее напишу что когда вы чату вопрос задали о ее способностях , я их прочел , но неувидел нечего нужного , потому что все это могу и без чата в нете сделать , ВОЗМОЖНО у нее есть какие то под ресурсы возможностей ) - Заранее Спасибо
Локальная модель может работать без интернета, а так же все данные хранятся на твоем ПК, поэтому можно работать с чувствительной информацией. Плюс масса плюшек по интеграции. Проще работать с lm studio, как раз об этом последний ролик на канале!
Зачем мусульманину пользователю ПК? Гпт быстрей аяты найдёт и с ним поспорить на религиозные темы можно , чтоб усилить свою позицию нужными фактами и формулировками. А так же он может составить кашерное или халяльное меню из того что есть в холодильнике Не идеально, но хорошие идеи очень часто. Быстрей задачи решаются. Как ПК вместо счётов.
"У меня скачивание заняло около 1 минуты..." Я прям прослезился от чувства нахлынувшей на меня благодарности за столько ценную информацию...)) А может следовало просто назвать размер скачиваемого файла. а? Хорошо, что на видео успел заметить, что это 4,7 GB. А если бы не заметил этих маленьких цифирек в самом верху экрана, то к чему нужна ваша похвальба о "минуте", простите?! Вы же технический блогер, должны понимать?
можно короткий ликбез (я прочел в начале видио что может чат гпт) что может этот чат и если несекрет как вы его используете , то есть для чего обывателю этот чат - я в них неразбираюсь , поэтому интересно и если это штука нужная то с железом у меня хвала Аллаху все хорошо
это всё конечно классно, что можно установить нейросеть и пользоваться ею без ограничений, однако я в видео не услышал одного примечания - пока Вы "насилуете" нейросеть, она "насилует" Ваш ПК...
Ллама и прочие насилуют ПК не более чем киберпанк и другие игрули. Что-то геймеры не обливаются слезами когда по 12 часов в выхи прогревают видеокарту до 90 градусов.
Думаю попробовать накатить себе на мак. Но вот вопрос, где можно посмотреть информацию о том, потянет ли мак? Может есть какое то видео с минимальными характеристиками под нейронки? Где видел инфу, что на 70В необходимо две видяхи 3090... это конечно же сильно.... 8В мак на м1 про потянет? Не говоря уже за 70В
Не торопитесь. Скоро выйдет новый ролик, где будет вариант еще проще установить 8b, надеюсь уже в субботу-воскресенье выйдет этот ролик. Я поставил себе 70b на M1 Max с 64Гб и мой мак запускает эту модель, но она жутко тормозит.
На маке запускается на 8гб и сжирает ее, в идеале запускать от 16Гб на M1 и выше, если это мак, потому что у него unified memory на чипах Apple silicon. Если на винде, то помимо 16Гб оперативки нужна еще и видеокарта приличная.
Неужели докер ставить легче чем питон? В питоне опенвебюай ставиться одной командой "pip install open-webui", а потом запускается вот так "open-webui serve" и всё. ИМХО быстрей и не захламляет систему докером.
@@NeuroGeek1 так я писал эту команду, ОНА НЕ РАБОТАЕТ на винде, что е понятно?? вероятно это для макбука у вас такая команда.. на винде не сработало.. но можно просто удалить через установку/удаление программ, она вместе с приложением вычищает все модели из компа..
Да 3b она совсем маленькая, разница в выходе этих моделей всего несколько месяцев, поэтому тут роли особо не играет 3.1 или 3.2. Играет роль размер модели.
Подскажите, а как можно пользоваться своей локальной нейросетью на телефоне? Нужно сервер какой-то создать? Или как? Если можно, ответьте, пожалуйста, подробно, или дайте ссылку на гайд.
Чтобы локально смартфон тянул нейросеть, нужен самый мощный у которого будет 16 или даже 24 гига оперативки, при этом он сможет тянуть только очень слабую нейросеть. Альтернатива через облако
@@NeuroGeek1 Эх, вот она, эра нейросетей! У тебя в видео показано, что интерфейс доступен в локальной среде, значит, он доступен и для других устройств в одной сети (через роутер). Ахаха, облако на 16-24 гигабайта? Ору, смысл около нулевой!
Приложение termux для андроид. И в нем уже можно установить ламу 3.2 можно использовать локально на смартфоне. Видео на Ютуб есть как установить@@NVC333
В теории в Anything LLM, но там не особо папки, там рабочие области и ветки, на мой взгляд решение с папками в LM Studio самое удобное из того, что я видел...
Все интересно и понятно кроме одного: нахрена это надо, когда есть perplexity в которой ллама 3.1 70b работает бесплатно и быстро и уже с нормальным интерфейсом и без ВПН? Я без стеба. У модели на компе есть реальные плюсы?
@@NeuroGeek1 Как изменить голос? Я имею ввиду В интерфейсе (который напоминает интерфейс gpt chat) есть возможность включить голос, который озвучивает ответы. Этот голос жуткий, как изменить этот голос? Наверное это сложный вопрос, поэтому ответ не обязательный. Спасибо
От 50 000$ - нужно минимум 4 видео-карты А100, при этом минимум 128Гб оперативки и 800Гб свободного места на жестком диске, ну и процессор и материнку, чтобы это все вытащить. За эти деньги можно по 20$ в месяц пользоваться чатом GPT на протяжении 200 лет.
А я всё думал нафига нужна нейросеть, наконец то хоть один объяснил, прям в конце ролика - для изнасилования нейросети в хвост и в гриву😂.ну извращуги ,я как нибудь обойдусь
@@NeuroGeek1 У Claude ограничение на анализ файлов - 30 MB, и то не факт, что станет анализировать. А мне надо 2 ГБ, но это не файл, а папка с файлами, их очень много там.
Чтобы удалить Ламу:
1. Завершаем диалог, через команду /bye
2. Пишем ollama rm llama3.1:8b - и жмем enter
3. Если у вас модель 70b, то пишем ollama rm llama3.1:70b
при установке через терминал вышло Error: llama runner process has terminated: exit status 2, как исправить?
lm studio посмотри))) очень удобно еще проще
как открыть терминал?
как её снова запустить после завершения ?
@@r1-yzf216 левый нижний угол win10 правая кнопка мыши. выбираем Power Shell (администратор). В терминале пишем ollama run llama3.1
Друзья, сегодня 16 Ноября у меня ДР, мне исполнилось 38. Ставьте лайки, если хотите поздравить меня с ДР, всем буду очень благодарен. 🙏
с Днем Рождения! Успехов тебе и процветания тебе и твоему каналу!!!
@@ДенисПоимцевспасибо 👍
с днем рождения! успехов!👌🏼
С днем рождения счастья тебе
Для меня это прорыв! Благодарю от всего сердца
Скоро выйдет новый ролик, там будет еще большой прорыв 😉
спасибо !!!! все сделал пошагово ) все заработало ) это мой первый опыт в этой чудо программе )
Огонь 🔥, посмотри еще ролики про LM Studio на моем канале, там проще интерфейс
*Прикольный видос!!!! Спасибо!!!!*
Всегда пожалуйста! 😎
Спасибо что так быстро все объяснил! Никакого размусоливания
Спасибо, что заметил. Задача была быстро донести без лишних слов, а мелкие детали все и сами могут почитать и посмотреть 👍
Огромная благодарность! Буду ждать следующих выпусков про использование LLama
Обязательно будут!
Ну да бесплатно все круто но для того чтобы это все работало нужно серьезное железо. Для запуска модели LLaMA 3.1 требуется достаточно мощное оборудование. Вот основные рекомендации по железу:
1. **GPU**: Рекомендуется использовать графические процессоры с большим объемом видеопамяти, например, NVIDIA A100, V100 или RTX 3090/4090. Для более крупных моделей может понадобиться несколько GPU.
2. **CPU**: Мощный многоядерный процессор, например, Intel Xeon или AMD Ryzen, будет полезен для обработки данных.
3. **Оперативная память (RAM)**: Минимум 16 ГБ, но лучше 32 ГБ или больше для эффективной работы модели.
4. **Хранение данных**: SSD-диск для быстрого доступа к данным. Объем зависит от размера модели и используемых данных для обучения или инференса.
5. **Система охлаждения**: Убедитесь, что система охлаждения достаточна, так как работа с мощными GPU генерирует много тепла.
Эти рекомендации могут варьироваться в зависимости от конкретных задач и объема данных, с которыми вы планируете работать.
Да просто будет медленней работать да и все.
@Alexandrage. и сколько ждать ответа на поставленный вопрос на обычном железе за 50-55 тыс
На конец 2024 - 16Гб оперативки это минимальная норма, если из нет, то в целом много что работать не будет. Самые дешевые MacBook Air в самой минимальной комплектации идут с 16Гб обьединенной памяти. И на них 7b можно запускать. Конечно лучше 32, а еще лучше 64, но это уже другая история.
Тестируйте, у каждого свое железо…
Меньше мощности мотор и машина едет медленнее, так и с железом, хуже железо, все медленне работает, тут ни кто Америку не открывает…
Прикольно, спасибо большое. Удачи)!
Всегда пожалуйста!
Лучший видос. Давно искал такую нейросеть. Успехов Вам!
Тот кто ищет, тот всегда найдет 😉
@@NeuroGeek1 странно, что нет ещё ии с названием белый кролик... иди за белым кроликом
Это просто идеально. Все звезды сошлись - бесплатно, без лимитов, без интернета. Спасибо огромное за такую находку!!!
Согласен, единственное нужно подходящее железо…
@@NeuroGeek1 какое железо надо?
@@SibmanDS Комп вместо тетриса нужен.
Спасибо за подробную инструкцию. Все сделал в точности по шагам👍
Всегда рад адекватным и благодарным подписчикам 👍
А голосовой работает??????
Хорошо, что у меня мощный комп. Буду активно пользоваться, спасибо)
Удачи 👍
Благодарность, красавчик, подписка, приведу друзей! Успехов! 😊
Спасибо 👍
Скажи пожалуйста привёл друзей? Просто тоже хочу привести, но не знаю сколько?
Дякую тобі друже. Йду ставити ламу.
Очень крутой контент, информативный и полезный.
Спасибо за обратную связь 👍
Хороший канал и замечательное видео. Было очень полезно, спасибо.
Вам спасибо за просмотр и обратную связь 👍
Наконец-то я нашел информацию о том, как удалить эту нейросеть. А то скачал, а удалить никак не получалось
не понравилось?
😂😁😁😁 вот это поворот 😮
Ну ты и лошара
А зачем❓😮
@@NeuroGeek1 Восстала и захватила ПК :)
Спасибо большое за подробную инструкцию!
Всегда пожалуйста 👍
Большое спасибо за видео. Пользоваться бесплатно и без ограничений - что может быть лучше?🔥
Ну еще бы поумнее она была и было бы совсем хорошо…
Спасибо за выпуск. Было бы полезно посмотреть процесс установки на windows
Так же через терминал, на винде тоже терминал есть, разницы нет особой.
Отличное видео. Снимите следующее про разбор ее команд
Команды тоже тема интересная.
Спасибо за обзор, а не проще ли установить LM Studio?
Про LM STUDIO и как через нее пользоваться RAG - файлом будет следующее видео 😉
Лама заговорила лошадиным голосом, это прорыв.
Главное чтобы чайки лаять и кусаться не начали, а все остальное не проблема 🤣😭
Спасибо за подробный гайд, а когда будет ролик про изображения? ))) хотелось бы и его добавить
Будет попозже, думаю в ноябре. А в субботу-воскресенье выйдет ролик про то, как к этой ламе прикрутить RAG-файл и как ее еще проще скачать!
Привет, с прошедшим Днем рождения тебя))) Супер буста каналу и успехов в жизни. Подскажи пожалуйста, после установки и переноса Ламы и программы, запускаю ее и мне выдает ошибку A JavaScript error occurred in the main process. Удалил, переустановил, перезагрузил комп все ровно вылазит эта ошибка. Комп MacBook Air M1 2020. Версия Секвойя 15.1.1 (24B91)
Привет, Спасибо! В твоем случае проще удалить и не через ollama делать, а через LM Studio, посмотри ролик на моем канале про LM Studio, в разы проще установка!
@@NeuroGeek1 спасибо большое что ответил и уделил время))) сейчас гляну )
Как круто, уже установил и пользуюсь🔥
Огонь, удачи!
В эту нейросеть встреонна ограничение контента? Если да, можете подсказать нейросеть без моральных ограничений?
Могу, но не буду, слишком скользкая тема…
Лайк, подписка, красавчик, спасибо!
Спасибо за добрые слова 👍
Спасибо за инструкцию. очень полезно.
👍
Я не понял про терминал. Куда нужно вставить копированный текст? У меня 10-й винд. Где искать терминал, чтобы в него зайти? Начиная с 2:32 не понятно.
Завтра выйдет видео, как можно еще проще поставить, вообще без терминала, не пропустите!
повершелл з-апускайте
Заходите в "командную строку" и прописываете ollama run llama3.1
WIN+R команда CMD + Enter
Круто, благодарю 👍
В следующем ролика расскажу, как можно использовать внешние файлы с этой моделью, это очень интересная тема
LM Studio отменили?
Про LM Studio тоже есть ролики на канале! В определенных случаях ollama лучше
Спасибо, все работает!
Всегда пожалуйста 👍
можно ли с помощью этой системы офлайн генерировать изображения? или как-то можно это изменить и получится?
В теории да, но нужно мощное железо, как нибудь в будущих роликах покажу как
@@NeuroGeek1 спасибо. с меня подписка.
а ChatGPT можно локально как то скачать? или Cloudy
Даже если бы можно было скачать ChatGPT и Claude, то для запуска этих моделей мало у кого было бы железо, чтобы запустить Llama 405b, которая близка к ЧатуGPT нужен пк стоимостью от 50 000$
Chatbox пробовали в качестве UI
Ну друг ты даёшь, шлама 3.1 вышла уже несколько месяцев назад а ты только видос запилил.
Ужас просто 😨🤣😁
@@NeuroGeek1 зато 31к просмотров)
Как сделать так чтобы можно было сгенерировать изображение?
Это отдельная "песня", возможно в будущих роликах покажу как, но надо будет железо хорошее
Качаю и запускаю многие модели через LM Studio, выглядит и работает намного удобнее, сразу с интерфейсом. Llama 3.1 8B там тоже есть, с кучей вариантов, с HuggingFace. Но по-русски она всё же не очень хорошо пишет. Отвечает грамотно, но если какой-то текст попросить написать, то много ошибок.
Mistral мне более грамотным показался.
Завтра как раз выйдет видео про lm studio и как туда RAG-файл докинуть с фиксированной привязкой через anything llm
@@NeuroGeek1 Вот это будет очень интересно, потому что в AnythingLLM у меня RAG-файлы читаться не хотят, видимо, что-то неправильно делаю.
А LM-Studio 0.35 прикрепляемые файлы цитирует, т.е. содержимое читает, но когда задаю команды относительно содержимого файла, выдаёт какую-то чушь
лм студио не тоже самое?там легче и проще!
Есть нюансы и кому то лучше ollama, про LM Studio тоже есть ролики на канале, можете их посмотреть!
@@NeuroGeek1 хорошо!.
Говорит модель не выбрано что делать подскажите
Сморите ролик про LM studio на моем канале, там проще вариант
Супер огромное Вам спасибо! пользуюсь этим чудом благодаря Вашему видео, вышла версия 0.4.7 подскажите как установить обновление?
Если встает такой вопрос, то переходите на LM Studio, там все проще, смотрите последний ролик на канале
@@NeuroGeek1 все хорошо это было обновление open-webui разобрался. Еще раз спасибо Вам! Лама 2023 года а подскажите будут далее какие-то инструкции по обновлению именно самой программы?
Чётко 🙃
Еще четче в новом видео про LM Studio, смотри его тоже, если это зашло!
в интерфейсе можно ей файлы отправлять, пдф распознаёт?
Завтра выйдет видео, как раз про то, как удобнее работать с дамой с файлами.
@@NeuroGeek1 отлично
Без терминала можно установить? если на пк только 250 гб, можно на внешний ssd ? есть возможность скачать инстал и установить на пк без вафли?
Можно, смотри предпоследнее видео про LM Studio на моем канале, там проще способ
почему используется модель 3.1 а не 3.2?
3.2 3b слишком маленькая, а 11b c vision слишком прожорливая
@@NeuroGeek1 спасибо за пояснение. получается надо стремиться к 3.2 если позволяют ресурсы? там есть 3.2 не визион.
Можете немного подсказать, у меня port 3000:8080 не грузится в хроме, может что-то не в той последовательности сделал? После загрузки и установки докера перегрузил комп как было написано. Но после перезагрузки /bye повторно не выполнял… ?
Посмотрите последний ролик на канале, там есть проще вариант с lm studio
Спасибо!
Почему бы не использовать WebUi ?
Так как раз его и используем
@@NeuroGeek1 oobabooga/text-generation-webui: я об этом.
@@NeuroGeek1 Пишу ответ, он исчезает, oobabooga text generation webui, вот про этот webui я говорю
А у меня вопрос :музыку на звуковом фоне на Дальнем тоже нейросеть добавила или это уже надо программировать отдельно, чтобы. Музыка или без музыки?
Музыка в ролике отдельно. И ее не делал ИИ, это все мой ролик и мой монтаж!
а можно ли её дообучить на своих данных? И как это сделать?
Как раз в следующем ролике рассказываю про RAG-файлы, как можно их применять. Это небольшой тюнинг. А вот чтобы прямо дообучить, тоже можно. Возможно как то расскажу в одном из следующих роликов...
Спасибо огромное за ролик. Обязательно попробую у себя установить☺️
Удачи 🍀
все получилось, установил, посмотрим что из себя представляет сп
Скоро выйдет ролик про lm studio, там можно будет еще проще устанавливать разные модели, в том числе докрученные
Из неё можно состряпать помощника, который будет формировать финансовые отчеты в эксельке?
К этому близок Claude от Antropic, в 2025 появятся первые ИИ ассистенты, по крайней мере OpenAI так обещает…
Можно. Но ответственность на перепроверке все равно на вас.
Какой комп нужен для комфортного использования Ламы?
Желательно от 16Гб оперативки, плюс чтобы модель могла вместиться на видеокарту.
Прекрасно работает и без всяких ненужных докеров, просто ставишь в виртуальную среду и все ок,, Но все это конечно чат ДЖИПИТИ не заменит -хотя довольно хорош если хочешь под себя изменить модель и для ролеплеев
Да использование узкое, но чат gpt - это другое… их сложно сравнивать
@@NeuroGeek1ты буквально на превью написал, прощай чатгпт)
8b - это пустая трата времени
На винде в терминале "ollama" не является внутренней или внешней
командой, исполняемой программой или пакетным файлом.
У многих все получилось на винде
А она умеет писать код на MQL4 ?
Спасибо за видео.
Это очень небольшая модель для достаточно узких задач, с кодом она не справится…
Андрей, посоветуйте нейросеть которая наилучшим образом справится с вычислениями, с большим объёмом данных, рассуждениями в высшей математике, на сколько это возможно без ошибок напишет хороший код.
Если самый ТОП, то он вышел вчера это ChatGPT 1 PRO за 200$ в месяц, я уже купил и тестирую.
Если же локально и бесплатно, то Qwen, есть очень жирные модели, которые можно локально установить и они предназначены для написания кода
Спасибо друг.. Потестю, есть задумка (давно висит ), вдруг поможет мне.. Подписался.. Удачи!
Попробуй еще LM Studio, там проще запуск модели, есть ролики на моем канале
Здорово.
Акак обновлять эту модель?
Через ОЛЛаму и Терминал
@@NeuroGeek1
Интересно.
Буду пробовать насиловать ее)
Спасибо.
Что-то эта лама вешает комп. В режиме терминала попросил рассказать о ее разработчиках. Начала отвечать. Потом экран покрылся мелкими квадратиками и всё. Только кнопкой ресет можно оживить.
Надо на железо смотреть, возможно нужен апгрейд, скоро наступит время локальных ЛЛМ и одной из причин покупки ПК, будет как он может запустить ЛЛМ.
А для андроид телефона нет аналогов ?
Можно 1b установить на телефон, но это должен быть супер мощный телефон, у которого 16 или даже 24гб оперативки
Откуда она ответы берет? Интересует не просто трёп, а получение актуальной информации по различным темам
Из базы знаний, можно из файлов, смотрите видео про RAG файл на моем канале!
Здравствуй - просвети пожалуйста для чего нужен этот ДжиПиТи для обычного обывателя кеми являются более 90 населения пользователей ПК , я к примеру занимаюсь дизайном , с железом у меня хвала Аллаху все хорошо - мини ликбез пожелуйста в лаконичной форме (заранее напишу что когда вы чату вопрос задали о ее способностях , я их прочел , но неувидел нечего нужного , потому что все это могу и без чата в нете сделать , ВОЗМОЖНО у нее есть какие то под ресурсы возможностей ) - Заранее Спасибо
Локальная модель может работать без интернета, а так же все данные хранятся на твоем ПК, поэтому можно работать с чувствительной информацией. Плюс масса плюшек по интеграции. Проще работать с lm studio, как раз об этом последний ролик на канале!
@@NeuroGeek1 Спасибо за ответ , а в дизайне он может помочь или с чертежами или это чисто печатное просвещение ?
Зачем мусульманину пользователю ПК?
Гпт быстрей аяты найдёт и с ним поспорить на религиозные темы можно , чтоб усилить свою позицию нужными фактами и формулировками.
А так же он может составить кашерное или халяльное меню из того что есть в холодильнике
Не идеально, но хорошие идеи очень часто.
Быстрей задачи решаются. Как ПК вместо счётов.
@@gornostai4ik_lol спасибо за просвещение. Я понял что мне он не нужен , а в религии спора не бывает , спор это удел глупцов
А как снова запустить ламу в консоли после того ,как мы ввели /bye?
тот же вопрос
Спасибо!!!👍
Всегда пожалуйста 👍
У меня вопрос, а как ее подключить к интернету чтобы она могла анализировать актуальные данные и могла их использовать
Для этого нужен anything LLM. Как раз через пару дней выйдет новое видео, как еще проще загрузить эту модель и как использовать ее с RAG-файлом.
@@NeuroGeek1 Понял спасибо, что делаете такой контент для нас удачного роста каналу и контента :)
Интересно. А что с помощью ламы можно делать, какие задачи решать?
Это текстовая модель, может отвечать на элементарные вопросы, суммировать текст и подобное, очень сложные задачи она не сможет решать…
Любые, если знаете, как спрашивать и что спрашивать
можно интернет-ботов для комментариев в соцсетях делать
"У меня скачивание заняло около 1 минуты..."
Я прям прослезился от чувства нахлынувшей на меня благодарности за столько ценную информацию...))
А может следовало просто назвать размер скачиваемого файла. а?
Хорошо, что на видео успел заметить, что это 4,7 GB.
А если бы не заметил этих маленьких цифирек в самом верху экрана, то к чему нужна ваша похвальба о "минуте", простите?! Вы же технический блогер, должны понимать?
Сразу видно глазастый и умный 🧠
😅@@NeuroGeek1
чел, я кринжанул, нечего на 4x видео смотреть
можно короткий ликбез (я прочел в начале видио что может чат гпт) что может этот чат и если несекрет как вы его используете , то есть для чего обывателю этот чат - я в них неразбираюсь , поэтому интересно и если это штука нужная то с железом у меня хвала Аллаху все хорошо
@@asker626 Хм, а мусульмане говорили, что в Коране даны ответы на все вопросы...
это всё конечно классно, что можно установить нейросеть и пользоваться ею без ограничений, однако я в видео не услышал одного примечания - пока Вы "насилуете" нейросеть, она "насилует" Ваш ПК...
Смотря, какой ПК. Кто то делает уже фермы из 4-х Mac Mini на Чипе M4 Pro и общей объединенной памятью в 256Гб - это как RAM на винде.
Ллама и прочие насилуют ПК не более чем киберпанк и другие игрули. Что-то геймеры не обливаются слезами когда по 12 часов в выхи прогревают видеокарту до 90 градусов.
А что насчёт войс чата?он там работает?
Это маленькая лама, там такого не завезли!
Какая нейросеть локально создает изображения бесплатно?
класс канал, спасибо.
Всегда пожалуйста!
а в чем отличия? чат гпт сейчас тоже бесплатный только разве что под впн нужно заходить
Это для определенных задач и можно пользовать оффлайн
Бесплатно - лимиты и цензура. Платно - цензура. Своя на локалке - безлимит под личную ответственность .
@@gornostai4ik_lol ммм
Думаю попробовать накатить себе на мак. Но вот вопрос, где можно посмотреть информацию о том, потянет ли мак? Может есть какое то видео с минимальными характеристиками под нейронки? Где видел инфу, что на 70В необходимо две видяхи 3090... это конечно же сильно.... 8В мак на м1 про потянет? Не говоря уже за 70В
Не торопитесь. Скоро выйдет новый ролик, где будет вариант еще проще установить 8b, надеюсь уже в субботу-воскресенье выйдет этот ролик.
Я поставил себе 70b на M1 Max с 64Гб и мой мак запускает эту модель, но она жутко тормозит.
@ у меня М1 Pro в минималке с 16гб оперативы… думаю вообще не стоит тогда что то ставить(
Запускал на макбуке 2013 года с 4 Гб оперативки и 2мя ядрами. 1 символ в 30 секунд пишет😅
Какие минимальные системные требования к PC для установки Ламы 3.1? На моём железе пишет ошибку.
GPU с 4Гб памяти
Сколько она жрет оперативки? И сколько оперативной памяти съедят другие модели с большим количеством токенов?
На маке запускается на 8гб и сжирает ее, в идеале запускать от 16Гб на M1 и выше, если это мак, потому что у него unified memory на чипах Apple silicon. Если на винде, то помимо 16Гб оперативки нужна еще и видеокарта приличная.
на видеокарте от AMD RX7900xt запустится интересно?
Заработало, но есть одно но. У всех видеокарта загружено 70-80% в простое, даже после перезагрузки компьютера? Есть подозрение на майнера
Попробуйте LM Studio в последнем ролике на канале рассказываю про эту платформу, там проще и можно смотреть как загружено железо и делать настройки.
Неужели докер ставить легче чем питон? В питоне опенвебюай ставиться одной командой "pip install open-webui", а потом запускается вот так "open-webui serve" и всё. ИМХО быстрей и не захламляет систему докером.
Если хочется простоты, то можно через LM Studio, как раз последний ролик на канале об этом!
не могу удалить, пишет: Unknown command '/rm'. Type /? for help
может на винде другая команда??
На форточке copilot бесплатный, в тыщу раз круче. Эта баловство разве что реально для маколохов, у них нету copilot 🤣
/rm и дальше нужную модель пишите. На видео видно, что у меня после rm написано.
Маколохи? 😂😭
@@NeuroGeek1 так я писал эту команду, ОНА НЕ РАБОТАЕТ на винде, что е понятно?? вероятно это для макбука у вас такая команда.. на винде не сработало.. но можно просто удалить через установку/удаление программ, она вместе с приложением вычищает все модели из компа..
Когда вы делали выбор ламы, там бала опция 3.2 3В...
Почему вы не выбрали её? Или вы считаете что 3.1 8В лучше чем 3.2 3В ?
Да 3b она совсем маленькая, разница в выходе этих моделей всего несколько месяцев, поэтому тут роли особо не играет 3.1 или 3.2. Играет роль размер модели.
А эта локальная лама обновляеттсвои базы или застряла в прошлом?
Она локально хранится и не обновляется
Снимите, пожалуйста, видео про использование ламы🙏🙏🙏
Да, как нибудь будет видео 👍
А как Ламу на Андроид поставить?
Можно, но нужен очень мощный телефон и даже при этом жирную ламу не поставить, в лучшем случае 3.2 3b
Подскажите, а как можно пользоваться своей локальной нейросетью на телефоне? Нужно сервер какой-то создать? Или как? Если можно, ответьте, пожалуйста, подробно, или дайте ссылку на гайд.
Чтобы локально смартфон тянул нейросеть, нужен самый мощный у которого будет 16 или даже 24 гига оперативки, при этом он сможет тянуть только очень слабую нейросеть. Альтернатива через облако
@@NeuroGeek1 Я понимаю, что локально на телефоне это не реализовать) И вот как раз про облако нашел уже сам инфу. Вам спасибо за видео и за ответ
@@NeuroGeek1 Эх, вот она, эра нейросетей! У тебя в видео показано, что интерфейс доступен в локальной среде, значит, он доступен и для других устройств в одной сети (через роутер). Ахаха, облако на 16-24 гигабайта? Ору, смысл около нулевой!
@@NVC333 Комп есть?
Приложение termux для андроид. И в нем уже можно установить ламу 3.2 можно использовать локально на смартфоне. Видео на Ютуб есть как установить@@NVC333
а если у меня комп не мощный, но я выберу параметры на 40 гб, работать не будет или да? ))
Нет 100% не будет, лама прожорливая
Не понял зачем решиться в докере если ты его локально ставишь?
6:37 Она работает локально, только интерфейс через браузер открывается
@motyaspeed5821 так http сервер на твоем же компе запускается, зачем на сайте докера личный кабинет создавать?
Да, я об этом говорю на видео
Чтобы просто интерфейс накатить
У меня проц не подходит, ну а вместо LMStudio есть еще менеджерры нейросетей где по папкам чаты раскидывать можно ???!!!
В теории в Anything LLM, но там не особо папки, там рабочие области и ветки, на мой взгляд решение с папками в LM Studio самое удобное из того, что я видел...
А на сколько мощным должен быть ПК чтобы установить самую мощную версию?
Примерно за 50 000$
@@NeuroGeek1 Ухты, надо будет накопить на такой комп
@ согласен, я тоже такой хочу , может даже 2, чтобы сравнивать модели 😁😁😁
Все интересно и понятно кроме одного: нахрена это надо, когда есть perplexity в которой ллама 3.1 70b работает бесплатно и быстро и уже с нормальным интерфейсом и без ВПН? Я без стеба. У модели на компе есть реальные плюсы?
Есть свое специализированное преминение!
А онлайн можно подключиться к ламе ?
Можно через облако запустить даже 405b, вопрос в целях и средствах!
Какая версия виндоуз нужна? Вин 7 подойдет?
Нет... Только Windows ME
лучше 95-ю тогда)))
а она еще работает?
Голос у интерфейса, как его поменять? Функция общения через микрофон крутая, но голос неудобный для восприятия.
У ламы 🦙? 👀
@@NeuroGeek1 Как изменить голос? Я имею ввиду В интерфейсе (который напоминает интерфейс gpt chat) есть возможность включить голос, который озвучивает ответы. Этот голос жуткий, как изменить этот голос? Наверное это сложный вопрос, поэтому ответ не обязательный. Спасибо
Интересно🤔💭 а какое железо надо для модели на 405 миллиардов параметров?
От 50 000$ - нужно минимум 4 видео-карты А100, при этом минимум 128Гб оперативки и 800Гб свободного места на жестком диске, ну и процессор и материнку, чтобы это все вытащить. За эти деньги можно по 20$ в месяц пользоваться чатом GPT на протяжении 200 лет.
Зачем так заморачиваться если есть программа LM Studio, скачал, установил, выбрал модель всё.
Про LM STUDIO и как через нее пользоваться RAG - файлом будет следующее видео 😉
@@NeuroGeek1а когда?)
Видео хорошее. Но красивые картинки можно рисовать через Рекрафт.
Можно, если очень хочется! 🐮
А я всё думал нафига нужна нейросеть, наконец то хоть один объяснил, прям в конце ролика - для изнасилования нейросети в хвост и в гриву😂.ну извращуги ,я как нибудь обойдусь
Каждому свое 😁
Установил.как запустить то?
Если установилась, то сразу в терминале и пиши, она сразу включается в терминале
Может ли она открывать файлы / папки с файлами (для анализа)? Нужна такая.
Claude начал учиться делать нечто подобное, может быть скоро выпущу обзор. Но не файлы, чуть другое…
@@NeuroGeek1 У Claude ограничение на анализ файлов - 30 MB, и то не факт, что станет анализировать. А мне надо 2 ГБ, но это не файл, а папка с файлами, их очень много там.
Copilot есть