🔗 Ссылки из видео: 1. Платформа Ollama: ollama.com/ 2. Docker: www.docker.com/ 3. Openwebui: docs.openwebui.com/ 🗑 Чтобы удалить LLama: 1. Завершаем диалог, через команду /bye 2. Пишем ollama rm llama3.1:8b - и жмем enter 3. Если у вас модель 70b, то пишем ollama rm llama3.1:70b
Рекомендую отказаться от старой llama 3.1, ведь на том же сайте ollama доступны более новые, быстрые и корректные с русским языком модели: aya, qwen и множество других. А если комп тянет большие модели, то уже есть llama 3.3 на те же 70b.
ollama ls - для просмотра установленных моделей с их правильными именами ollama rm modelname - удалить после уточнения имени Выполняется из командной строки без захода в другие программы. А вот что такое /buy - что покупать собираетесь? ;) Команда выхода пишется иначе. И можно просто нажать ctrl+d.
Приветствую брата Колю! ))) Уже вышла llama 3.3, которая заметно умнее. Правда есть только в версии 70B, так что требует 64Гб памяти. И да. Оболочка LM Studio удобнее, чем Ollama. Банально проще ставить.
@@neromaks6064 Из того, чем пользуюсь я, могу сказать, что 3.3 более толково код пишет, чем 3.1. А 4о вы не сможете запустить локально. Так что это просто другая категория. Ну и там наверно не с 70B сравнивать надо, а с 400.
@ это больше под код подходит ? я просто хотел бы текстовую модель для обработки текста ,быстрых ответов на что то банальное . она вообще подойдет ? и если есть где то прям сравнения (не нашел их ) то глянул бы(. и если есть какая то модель подходящая для моих запросов ? заранее спасибо )
@ Любая подойдет. Если вопросы небольшие и их не очень много (у тебя нет базы на 100500 строк с этими вопросами) - то банально в телеге вон есть куча каналов с ботами. По качеству - чем новее и больше модель, тем она умнее. Конкуренты плюс-минус похожи в своих категориях.
ага, докеры - лишняя трата ресурсов железа на ровном месте. Есть AnythingLLM, gpt4all, oobabooga, janai, kobold, а если еще и хочется выпендриться и дать ии тело, голос и "характер", чтоб закуячить из него полноценного помощника, с возможностью агента на своем компе, дык можно взять тот же SillyTavern... Почти каждая из перечисленных прог имеет возможность закачивать ллм модели по одному клику, либо вставляя ссылку на нужную конкретную модель на ХаггингФейс, если вдруг искомой нету в списке. JanAi еще и подсказывает, какая модель будет работать быстро на конкретно твоем железе. Какая будет подлагивать, а какая выжмет из твоего компа все соки и все равно работать с ней адекватно будет нельзя.
Этак можно спрашивать про разное - а чем Open WebUI не нравится? А чем Forge не нравится? А чем... Вот только это не имеет отношения к теме данного ролика. К слову, LM Studio не на всех компах работает. Например, на Маках с интелом возникают проблемы с библиотеками пайтона.
@dolotube к слову, *LM Studio,* на сегодняшний день, - самое удобное и оптимальное решение по указанным выше причинам. С него лучше и начинать. А если возникли странные проблемы или стоят другие задачи - рассматривать *Ollama* и всякое другое.
Привет 🤝. Благодарю за информацию. Но вопрос 🙋♂️. Это почти копия будет GPT O? Или что-то другое? И можно ли его обучать с помощью книг и видео курсов?)
Привет, видео очень познавательное, интересное. Вопрос, я установил не на системный диск, но в уведомлениях не появилось окошко со стартом в cmd, как к нейронке обратиться самому через нее? Получилось только подружиться с ней с системного диска. Хотя может вопрос и глупый, гляну вечером документацию, если таковая имеется, не чекал😅
Привет! Большое спасибо за видео! Снимите про студию - альтернативный способ запуска этой модели А также покажите пожалуйста как ее обучать самостоятельно загружая пдф файлы в нее Чтобы она именно УЧИЛАСЬ! и становилась умнее например загрузил пара докторских диссертаций и она прожевав все это смогла бы ссылаться на эти труды или ответы были бы более грамотными Спасибо!
Для обучения нужно или глубоко копать тему, или городит костыли с RAG, или просто подождать, пока архитектуру сменят. Нынешние LLM заточены под выдачу ответа, обучаются они со скрипом.
Загугли про символические ссылки и жёсткие ссылки в файловой системе windows. Можно всё кроме ядра системы перенести на любой диск, но программы будут думать что они на с: диске.
привет! в закрепленном комментарии команда висит) 🗑 Чтобы удалить LLama: 1. Завершаем диалог, через команду /bye 2. Пишем ollama rm llama3.1:8b - и жмем enter 3. Если у вас модель 70b, то пишем ollama rm llama3.1:70b
Здравствуйте! Сделайте пожалуйста видео как сделать программу которая брутит 12 значную сид фразу от кошельков (по типу word word word word word word word word word word word word) и выводит их балансы)
@@neromaks6064 Дело в количестве параметров: 7B, 14B, 32B. Чем их больше, тем "умнее" модель, без учета процесса обучения и архитектуры. Если использовать видеокарту для инференса, что сильно ускоряет ответы llm, то среднестатистическая карта может вместить модели типа LLaMA-7B. Если же есть деньги на обогреватель из шестнадцати видеокарт H100 каждая по 80гб, то можно впихнуть LLaMA-405B или LLaMA-405B(FP8) для этого потребуется 8 видеокарт. Для понимания силы моделей можно глянуть на Chatbot Arena: ClosedAI ChatGPT будет на первом месте LLaMA-405B - 10-15 место LLaMA-7B - 50-80 место Но мест всего 160 и она обходит лишь половину конкурентов Поэтому локалка норм разве что если в самолете летишь без инета, автоматизировать какие то простые рутинные задачи или не знаю исповедоваться искусственном интеллекту и боишься слежки) Мой выбор deepseek-v3 в браузере у модели есть доступ в интернет, быстрые ответы, решает сложные задачи порой сам не верю что вывезет ответ, на крайняк можно включить deepthink и модель будет критически размышлять прежде чем дать ответ
@@neromaks6064 Дело в количестве параметров: 7B, 14B, 32B. Чем их больше, тем "умнее" модель, без учета процесса обучения и архитектуры. Если использовать видеокарту для инференса, что сильно ускоряет ответы llm, то среднестатистическая карта может вместить модели типа LLaMA-7B. Если же есть деньги на обогреватель из шестнадцати видеокарт H100 каждая по 80гб, то можно впихнуть LLaMA-405B или LLaMA-405B(FP8) для этого потребуется 8 видеокарт. Для понимания силы моделей можно глянуть на Chatbot Arena: ClosedAI ChatGPT будет на первом месте LLaMA-405B - 10-15 место LLaMA-7B - 50-80 место Но мест всего 160 и она обходит лишь половину конкурентов Вообще такие модели как 7b не обучают. Изначально обучают самую огромную модель из серии а уже из нее с помощи метода дистилляции знаний выводя уменьшенные версии. Как итог все что можно запустить на компе это сильно урезанные, и упрощенные версии более мощных решений. А модели state of the art уровня требуют не то что много миллионных сборок железа а gpu кластеры размером с комнату с теми же H100. Поэтому локалка норм разве что если в самолете летишь без инета, автоматизировать какие то простые рутинные задачи или не знаю исповедоваться искусственном интеллекту и боишься слежки)
Загугли про символические ссылки и жёсткие ссылки в файловой системе windows. Можно всё кроме ядра системы перенести на любой диск, но программы будут думать что они на с: диске.
Какую модель поставишь, то уметь и будет. Есть модели для программирования, создания историй и миров, помощи в бытовых вопросах, готовке или для всего и сразу. Однако всё же модели заточенные под что-то одно, понятное дело лучше. А умения её напрямую зависят от вашего пк.
Если нет мощной игровой видеокарты Nvidia с 12-24Gb на борту / даже не пытайтесь повторить эксперимент / будете сильно разочарованы скоростью ответа вашего локального ИИ
Это если генеративная ИИ, тогда да. А ии чат помощник не жрет так сильно как какой нибудь StableDiffusion или FLUX. Там уже порог входа заявлен RTX4070 да, у Apple сильно ниже требования за счет наличия нейронного движка из коробки, даже М1 запустит все отлично, единственное требование 16гб объединенной памяти.
@@BozuGames потянет больше половины библиотеки LM Stiudio и Jan что касается чат-помощников. А еще отлично потянет StableDiffusion и все что доступно в лаунчере генеративных ии DiffusionBee.
@@BozuGames качай LM studio или Jan, это что касается чат помощников. Там больше половины библиотеки доступно будет точно. А что касается генеративных ИИ то специально для маков есть DiffusionBee, в него можно добавлять совместимые языковые модели или обучать самому. Из коробки там идет StableDiffusion и FLUX.
Сильно, но модель 70 и выше для серверов, даже 4090 нормально не потянет ее, слишком много видео памяти кушает. Но и они по качестве уже приближаются в gpt 4.
умеет нейронка клипы создавать? нафиг эти тексты и картинки... если загрузить в неё себя, как я пою и играю на гитаре, она может сделать крутой клип в моём исполнении?))) кавера и писать за меня песни, аранжировку делать и тд..?
я бы хотел найти нейронку которая, помогает тебе если сказал ей голосом и она сама по компьютеру управляет и делает! как узнаете про эту бесплатную нейронку ответье на этот комментарий!.
1. Подключения к интернету нет. А в моделях не актуальная информация. 2. Мощность ПК не вытянет адекватную по полезности модель. 3. Бесплатные модели как правило не заточены под адекватное написание кода. Вывод: Актуальную информацию не найдёт и код не напишет. Бесполезная срань.
🔗 Ссылки из видео:
1. Платформа Ollama:
ollama.com/
2. Docker:
www.docker.com/
3. Openwebui:
docs.openwebui.com/
🗑 Чтобы удалить LLama:
1. Завершаем диалог, через команду /bye
2. Пишем ollama rm llama3.1:8b - и жмем enter
3. Если у вас модель 70b, то пишем ollama rm llama3.1:70b
Рекомендую отказаться от старой llama 3.1, ведь на том же сайте ollama доступны более новые, быстрые и корректные с русским языком модели: aya, qwen и множество других. А если комп тянет большие модели, то уже есть llama 3.3 на те же 70b.
как удалить? /bye и ollama rm llama3.1:8b не работает
ollama ls - для просмотра установленных моделей с их правильными именами
ollama rm modelname - удалить после уточнения имени
Выполняется из командной строки без захода в другие программы.
А вот что такое /buy - что покупать собираетесь? ;)
Команда выхода пишется иначе. И можно просто нажать ctrl+d.
спасибо
Крутой контент, спасибо тебе, все видео кайфовые👍продолжай в том же духе и канал вырастит в космическом эквиваленте💪
Благодарю Вас за интересный, ценный и полезный подкаст!!!🙏🙏🙏
Приветствую брата Колю! )))
Уже вышла llama 3.3, которая заметно умнее. Правда есть только в версии 70B, так что требует 64Гб памяти.
И да. Оболочка LM Studio удобнее, чем Ollama. Банально проще ставить.
так она и в видео есть) просто она требует больше
а чем умнее ? и сильно ли лама .3.3 отстает от гтп 4о?
@@neromaks6064
Из того, чем пользуюсь я, могу сказать, что 3.3 более толково код пишет, чем 3.1.
А 4о вы не сможете запустить локально. Так что это просто другая категория. Ну и там наверно не с 70B сравнивать надо, а с 400.
@ это больше под код подходит ? я просто хотел бы текстовую модель для обработки текста ,быстрых ответов на что то банальное . она вообще подойдет ? и если есть где то прям сравнения (не нашел их ) то глянул бы(. и если есть какая то модель подходящая для моих запросов ? заранее спасибо )
@
Любая подойдет. Если вопросы небольшие и их не очень много (у тебя нет базы на 100500 строк с этими вопросами) - то банально в телеге вон есть куча каналов с ботами.
По качеству - чем новее и больше модель, тем она умнее. Конкуренты плюс-минус похожи в своих категориях.
ребята так же можно выбрать на какой диск можно поставить нейросеть: пишите cd D:\ и все пишите команду установки, по-сути это тот же самый линукс
А чем LM Studio не нравится? Без всяких докеров, регистраций и СМС. Куча всяких моделей на разные мощности и задачи.
сделаю и про нее видео)
ага, докеры - лишняя трата ресурсов железа на ровном месте.
Есть AnythingLLM, gpt4all, oobabooga, janai, kobold, а если еще и хочется выпендриться и дать ии тело, голос и "характер", чтоб закуячить из него полноценного помощника, с возможностью агента на своем компе, дык можно взять тот же SillyTavern...
Почти каждая из перечисленных прог имеет возможность закачивать ллм модели по одному клику, либо вставляя ссылку на нужную конкретную модель на ХаггингФейс, если вдруг искомой нету в списке.
JanAi еще и подсказывает, какая модель будет работать быстро на конкретно твоем железе. Какая будет подлагивать, а какая выжмет из твоего компа все соки и все равно работать с ней адекватно будет нельзя.
@@DirecodeЖдём
Этак можно спрашивать про разное - а чем Open WebUI не нравится? А чем Forge не нравится? А чем... Вот только это не имеет отношения к теме данного ролика.
К слову, LM Studio не на всех компах работает. Например, на Маках с интелом возникают проблемы с библиотеками пайтона.
@dolotube к слову, *LM Studio,* на сегодняшний день, - самое удобное и оптимальное решение по указанным выше причинам. С него лучше и начинать. А если возникли странные проблемы или стоят другие задачи - рассматривать *Ollama* и всякое другое.
Спасибо за видео,у вас приятный голос, успехов вам и здоровья
спасибо!
Привет 🤝. Благодарю за информацию. Но вопрос 🙋♂️.
Это почти копия будет GPT O? Или что-то другое?
И можно ли его обучать с помощью книг и видео курсов?)
@@Mikhail_Anato Нет, это будут модели, уступающие O1 по количеству параметров в десятки и сотни раз. Обучить у вас вряд ли получится.
Привет, видео очень познавательное, интересное. Вопрос, я установил не на системный диск, но в уведомлениях не появилось окошко со стартом в cmd, как к нейронке обратиться самому через нее?
Получилось только подружиться с ней с системного диска.
Хотя может вопрос и глупый, гляну вечером документацию, если таковая имеется, не чекал😅
Прикольно, а есть модели без цензуры?
Здравствуйте расскажите про api и методы взаимодействия по api с локально установленой моделью?
Это можно спросить у любой из десятка доступных сетевых нейросетей, начиная с ChatGPT. Даже код функции для запроса в локальный API напишут.
Привет! Большое спасибо за видео! Снимите про студию - альтернативный способ запуска этой модели
А также покажите пожалуйста как ее обучать самостоятельно загружая пдф файлы в нее
Чтобы она именно УЧИЛАСЬ! и становилась умнее например загрузил пара докторских диссертаций и она прожевав все это смогла бы ссылаться на эти труды или ответы были бы более грамотными
Спасибо!
И да, отличное видео!
норм у тебя аватарка
норм у тебя аватарка
@ как же ты чувствуешь) 👍🏻
Для обучения нужно или глубоко копать тему, или городит костыли с RAG, или просто подождать, пока архитектуру сменят. Нынешние LLM заточены под выдачу ответа, обучаются они со скрипом.
Как можно его обучить что бы он давал ответы исходя из моих данных?
Можно скачать не на диск с?
У меня он и так забит программами, я как могу его чищу, переношу все на диск д, а в инсталляторе все идет на с
да, установить через Power shell, команда:
.\ollamasetup.exe /DIR="d:/ollama"
@@Direcode
Спасибо большое! ***Обнял:3***
Кстати спасибо за гайд, давно хотел сделать подобное, но не знал как
Загугли про символические ссылки и жёсткие ссылки в файловой системе windows.
Можно всё кроме ядра системы перенести на любой диск, но программы будут думать что они на с: диске.
А есть возможность закинуть это на сервер и уже пользоваться со своего пк/телефона?
Соединение было сброшено. В чем причина ?
как открыть файл
Интересно, а можно сделать бота на подобии Character AI используя Ollama?
Привет) Спасибо за такое чудо!) Подскажи пожалуйста, что за анимированный рабочий стол картинка? 🙂
Скорее всего Wallpaper Engine
Привет! Neon Waterfall - Vaporwave, в Wallpaper Engine
По Апи потом его к боту можно подключить? И можно его на сервак установить?
Тоже интересно
можно, надо на github поискать или мб для open web ui плагин есть на тг ботов
@@keyskovsky Можно. Но зачем? Вроде, если поискать, то можно бесплатно к готовым и более мощным серверам подключиться.
Пишет Сайт localhost не отправил данные. Что делать? куда копать?
Перезапустить докер
И зачем она?
на linux можно поставить?
да)
Ребята, подскажите, как всё удалить? Из-за неё не работают эмуляторы.
привет! в закрепленном комментарии команда висит)
🗑 Чтобы удалить LLama:
1. Завершаем диалог, через команду /bye
2. Пишем ollama rm llama3.1:8b - и жмем enter
3. Если у вас модель 70b, то пишем ollama rm llama3.1:70b
Друг, терминал не выходит. Переустановил и нет никакого терминала. Где его искать?
найди в поиске на пк "Командная строка" или Windows Power Shell
А можно так же развернуть claude?
гугл говорит что да, сам не пробовал
@ как вариант для следующего видео)
Конкретно эта модель на видео по мощности примерно как какая версия чата гпт? И можно ли отправлять в этот чат файлы?
Если верить оф данным, то версии 3.5
@@GamePlay_452 Если речь идет о 8B, то ChatGPT 3.5 или немного лучше. А разные 16B, 20B или 32B - существенно лучше. Но медленнее.
@SashaKuzikov я в курсе
генерировать изображения здесь получится?
нет , это текстовая модель
А нсли есть интернет, то эта лама подключается сама ?
Здравствуйте! Сделайте пожалуйста видео как сделать программу которая брутит 12 значную сид фразу от кошельков (по типу word word word word word word word word word word word word) и выводит их балансы)
Привет, сними LM Studio если не сложно.
Он проще настраивается без танцев и бубна😮
а есть вообще lm studio - туда можно подгружать любые модели в том числе ламу. и вообще без консоли
она картинки не распознает(
Спасибо автору видео! Приму на вооружение
Есть же LM Studio, меньше запариваться и функционал шире
Ну так видео не об этом) Еще есть Gemini- открыл в браузере даже делать ничего не нужно)))
Только вопрос, что умнее для разработчика?
@@LanyRadar Ну я сижу с deepseek r1 в браузере)
Хотя сам в мл уже 8 лет, все эти локалки баловство, если не ставить 8x h100 по 4 ляма каждая
@@aijedi45 можешь объяснить почему баловство и вот эту фразу "если не ставить 8x h100 по 4 ляма каждая"
@@neromaks6064 Дело в количестве параметров: 7B, 14B, 32B. Чем их больше, тем "умнее" модель, без учета процесса обучения и архитектуры.
Если использовать видеокарту для инференса, что сильно ускоряет ответы llm, то среднестатистическая карта может вместить модели типа LLaMA-7B. Если же есть деньги на обогреватель из шестнадцати видеокарт H100 каждая по 80гб, то можно впихнуть LLaMA-405B или LLaMA-405B(FP8) для этого потребуется 8 видеокарт.
Для понимания силы моделей можно глянуть на Chatbot Arena:
ClosedAI ChatGPT будет на первом месте
LLaMA-405B - 10-15 место
LLaMA-7B - 50-80 место
Но мест всего 160 и она обходит лишь половину конкурентов
Поэтому локалка норм разве что если в самолете летишь без инета, автоматизировать какие то простые рутинные задачи или не знаю исповедоваться искусственном интеллекту и боишься слежки)
Мой выбор deepseek-v3 в браузере у модели есть доступ в интернет, быстрые ответы, решает сложные задачи порой сам не верю что вывезет ответ, на крайняк можно включить deepthink и модель будет критически размышлять прежде чем дать ответ
@@neromaks6064 Дело в количестве параметров: 7B, 14B, 32B. Чем их больше, тем "умнее" модель, без учета процесса обучения и архитектуры.
Если использовать видеокарту для инференса, что сильно ускоряет ответы llm, то среднестатистическая карта может вместить модели типа LLaMA-7B. Если же есть деньги на обогреватель из шестнадцати видеокарт H100 каждая по 80гб, то можно впихнуть LLaMA-405B или LLaMA-405B(FP8) для этого потребуется 8 видеокарт.
Для понимания силы моделей можно глянуть на Chatbot Arena:
ClosedAI ChatGPT будет на первом месте
LLaMA-405B - 10-15 место
LLaMA-7B - 50-80 место
Но мест всего 160 и она обходит лишь половину конкурентов
Вообще такие модели как 7b не обучают. Изначально обучают самую огромную модель из серии а уже из нее с помощи метода дистилляции знаний выводя уменьшенные версии.
Как итог все что можно запустить на компе это сильно урезанные, и упрощенные версии более мощных решений. А модели state of the art уровня требуют не то что много миллионных сборок железа а gpu кластеры размером с комнату с теми же H100.
Поэтому локалка норм разве что если в самолете летишь без инета, автоматизировать какие то простые рутинные задачи или не знаю исповедоваться искусственном интеллекту и боишься слежки)
как открыть окно с терминалом после установки, у меня не получается..((
открыть пуск и в поиск написать cmd или "Командная строка". Так же можно использовать Windows Power Shell
А можно скачать модель на другой диск каким то образом?
да, установить через Power shell, команда:
.\ollamasetup.exe /DIR="d:/ollama"
@Direcode хорошо, спасибо!
Загугли про символические ссылки и жёсткие ссылки в файловой системе windows.
Можно всё кроме ядра системы перенести на любой диск, но программы будут думать что они на с: диске.
Можно конкретнее _ какой проц рекомендуется ? Сколько оперативы
у меня i5 13400f, 4060ti и 32 гб оперативы
есть ли возможность дома на компьютере развернуть нейросеть и через тг задавать ей вопросы?
@@c1vvic Можно. Но потребуется ещё Web-сервер.
Не пойму где происходит связка иламы с web ui?
Посредством API ollam-ы. В Docker идёт проброс данных с локального компа, в результате чего оболочка Webui получает доступ к модели ollama
@v4yve а где настройка webui на модель ollama?
@@tosick4 в панели администратора
а откуда он данные берет? в него уже загружены?
да)
👍
Заметил что после установки Openwebui внутри оболочки нейросеть работает куда хуже, чем в режиме командной строки
@@no_name5401 Если комп на Windows, то ничего удивительного. Docker вроде виртуалку запускает.
запоминает чего сам раньше писал или каждые пару часов все по новой надо ему объяснять?
@@BozuGames Зависит от модели. Но контекст, как правило, небольшой. Зависит не от времени, а от объема.
M1 pro, 16 гб ОЗУ. Через терминал очень быстрый👍
Что эта нейросеть умеет и что за базы данных использует? Откуда берет информацию, если не подключена к интернету?
Какую модель поставишь, то уметь и будет. Есть модели для программирования, создания историй и миров, помощи в бытовых вопросах, готовке или для всего и сразу.
Однако всё же модели заточенные под что-то одно, понятное дело лучше. А умения её напрямую зависят от вашего пк.
@@EliyarCuruxa код пишет нормально? с большим кодом в 1000 строк и больше справляется?
@@BozuGames Это буквально зависит от модели, и мощности пк.
Если нет мощной игровой видеокарты Nvidia с 12-24Gb на борту / даже не пытайтесь повторить эксперимент / будете сильно разочарованы скоростью ответа вашего локального ИИ
у меня i5 13400f и 4060ti, не сказал бы что мощное железо, скорее среднее уже)
Это если генеративная ИИ, тогда да.
А ии чат помощник не жрет так сильно как какой нибудь StableDiffusion или FLUX. Там уже порог входа заявлен RTX4070 да, у Apple сильно ниже требования за счет наличия нейронного движка из коробки, даже М1 запустит все отлично, единственное требование 16гб объединенной памяти.
@@JhonPhatterson на imac m4 с 16 гб оперативы потянет что нибудь?
@@BozuGames потянет больше половины библиотеки LM Stiudio и Jan что касается чат-помощников. А еще отлично потянет StableDiffusion и все что доступно в лаунчере генеративных ии DiffusionBee.
@@BozuGames качай LM studio или Jan, это что касается чат помощников. Там больше половины библиотеки доступно будет точно.
А что касается генеративных ИИ то специально для маков есть DiffusionBee, в него можно добавлять совместимые языковые модели или обучать самому.
Из коробки там идет StableDiffusion и FLUX.
Спасибо! Есть ли сборки для macos apple silicon? Слышали что-то?
мдаа компании производящие процессоры уже гдето в космосе по доходам и менеджеры богаче президентов
Что у тебя по характеристикам компа процессор?
У меня райзен 7 7700 думаю потянет
i5 13400f
Сильно ли отличается качество ответов на 8b и 70b?
Сильно, но модель 70 и выше для серверов, даже 4090 нормально не потянет ее, слишком много видео памяти кушает. Но и они по качестве уже приближаются в gpt 4.
на Copilot похож🤔
Было бы неплохо рассказать как менять модели и удалять все это дело.
привет! спасибо, учту, про удаление в закрепленном комментарии написал
@@Direcode как с командной без докера запустить? Докер кстати WSL просит, хотя давно все на WSL2 перешли
@@sib3546 странно. Под Windows Docker свою виртуалку вроде делает.
Сколько она жрет ? Там наверное надо гигов 300 видеопамяти ?
300 гигов видеопамяти, услышал тебя родной
Llama на каком уровне интеллекта? Если как чат gpt, то не особо интересно. До Claude дотягивает?)))
Я сделал с помощью miniConda и использовал модели из GROQ
умеет нейронка клипы создавать? нафиг эти тексты и картинки... если загрузить в неё себя, как я пою и играю на гитаре, она может сделать крутой клип в моём исполнении?))) кавера и писать за меня песни, аранжировку делать и тд..?
ОПЕРАТИВКА😂😂😂
Так можно голосом говорить с ней???
я бы хотел найти нейронку которая, помогает тебе если сказал ей голосом и она сама по компьютеру управляет и делает! как узнаете про эту бесплатную нейронку ответье на этот комментарий!.
10/10
1. Подключения к интернету нет. А в моделях не актуальная информация.
2. Мощность ПК не вытянет адекватную по полезности модель.
3. Бесплатные модели как правило не заточены под адекватное написание кода.
Вывод: Актуальную информацию не найдёт и код не напишет. Бесполезная срань.
гпт 4о лучше, не устанавливайте
за 20 баксов в месяц норм
DeepSeek v3 на сайте бесплатно онлайн без впн умнее быстрее и внимательней !
@@BozuGames Есть достаточно и бесплатного. Mistral, DeepSeek, Merlin...
Крайнист...
А можно с Python связать?