Ну мы же наверное не ожидали, что у автора есть 16 штук NVIDIA A100 80GB или типа того... Увы, в домашних условиях неурезанный r1 запустить не выйдет :(
Смотря для чего. Для 90% что есть у нас в головах - хватит почти любой модели средней упакованности (разница минимальна или отсутствует). Чтобы поставить модель в тупик или отправить в галлюцинации - нужно отдельно думать
Я ставил ollama и deepseek r1 8b на RTX3070ti 8gb - отвечает сразу и очень быстро, в целом общается норм, но веб версия на 700b конечно лучше. Ну и очевидно, что все модели ниже 700b будут сильно слабее, никакие локальные 32b и даже 70b не сравнятся с официальной веб версией.
Просто "супер умная" модель 32b простой вопрос как приготовить плов, понесла такую околёсицу мама не горюй. В общем до онлайн сервиса ей как до луны пешком.
установил локально версию на 14b,все примерно тоже самое,пишет то на русском,то на английском.На вопрос какая у него версия ответил что он создан в компании яндекс и все вопросы туда).Установил,попробовал,удалил.Что в моб.,что в веб версии дипсик говорит что его данные актуальны на октябрь 2023 года
Не знал что это режим расширенного мышления. Так текст круто обработал, дополнил словами, изменил структуру, добавил всяких триггеров, вообще не узнать, зачитаешься. Ещё и целую портянку с объяснениями выкатил, что, как и зачем он делал)) А в обычном режиме уступает чату гпт.
Я думаю «расширенное мышление» это подразумевается, то объяснение которое он дает в процессе формирования ответа на ваш запрос. А если выключить этот режим, нейронка не будет описывать сам процесс своих размышлений. На самом деле это очень круто. Нам наглядно показали, что она мыслит как мы. Её сделали как человека мыслящего. Понимаете о чем я ?
На сайте DeepSeek обычный режим - это модель DeepSeek-v3, а режим расширенного мышления - это самая последняя и продвинутая модель DeepSeek-R1. Так что в обычном режиме вы будете общаться с более ранней и слабой DeepSeek версии 3.
Так это просто лучшая версия ЛАМЫ но без доступа к интеренту вроде он не имеет 90% своих БД обученых. Их вроде для скачки не давали. Там несколько десятков террабайт а то и больше.
Deepseek за дудосили уже изза таких крутых моделей переходим медленно на локал правда топовую не получиться запустить не как нужно быть миллионером так как для запуска топовой модели нужна видюха h100 как минимум а лучше пару чтобы не было лагов минимальные требования 80гб видеопамяти
а если поставить на сервер, какой должен быть для максимальной модели параметры сервака? а главное, есть ли api, для подключения с уже нашего сервера? очень уж хочется делать массовые операции на сайте (товары пилить, поиск и пр.) и не зависеть от токенов и милости к нашему ip.
тут надо выбирать между cpu+ram или gpu+vram. второй конечно намного быстрее будет. заструдняюсь ответить поскольку я запуска 32b на конфигурации 64gb ram и 12gb vram geforce 1080 ti и не вижу чтобы ram полностью был нагружен (1.5гига где-то, но кэш на все 32) и vram тоже (примерно на 9 гигабайт знаят). но учитывая размер модеи думаю 2 штуки rtx 4080ti вполне потянут с оперативой в 128гб. протестируй и дай знать)
А карта у вас Nvidia? Или через Оламу будет и на AMD работать? В смысле, на недорогом AMD. Для последних дорогих моделей, вроде, какой-то костыль придумали для нейронок.
неверно. 14b значит 14 миллиардов токенов. значит оперативы надо в 2 раза больше, чтобы и нейросеть работала и ос не тормоzilla. в реале можно видеть что нейросеть не кушает столько оперативы, но можно видеть сколько кэша скапливается в оперативе.
Вроде канал по AI, но почему то автор запускает самый ущербный вес на 1.5B. Хотя бы версию DeepSeek-R1-Distill-Qwen-32B-GGUF-IQ3-M запустил бы, который требует только 24GB VRAM (2 штуки RTX 3060, либо один RTX 3090). На 70B требует со средним квантованием требует ~48GB VRAM.
Спасибо за ChatBox. Но смысл вообще устанавливать deepSeek локально на комп? Он и на сайте отлично работает без всяких костылей. Если уж тестировать, то на сайте.
Насколько я знаю, deepseek на сайте не знает, что произошло на площади Тяньаньмэнь, и не про какой Тайвань тоже не знает. А на компе это же будет открытая версия. Я не разбираюсь, и даже если локальная версия тоже зацензурена, то как минимум это пример того, как хорошо может работать что-то на персональном компе, а значит гипотетически без цензуры от корпораций или государств.
@@user-xyjvochko228модели тренируются один раз и китайская цензура будет одна и та же. Модель это слои параметров, значения которых натренированы заранее.
Людям страшно они бояться а вдруг на сутки интернета не будет и они не узнают например первый закон ньютона от нейронки, и их жизнь в этот момент может очень сильно испортиться 😂😂😂
В большинстве ИИ-моделей температура отвечает за то, насколько к ответу примешивается случайная информация. Эта ерунда часто называется "креативностью" модели. Лучше ставить равной нулю )))
дипсик в контексте очень путается, лично проверял, херня кароче полная, темболие голосового режима нету. с чат жпт я включаю голосовой режим кидаю в карман мобилу и часами могу с ним общаться
Китайская цензура можно отключить но цензура в основном китайская но не получиться у себя дома поставить самую мощную модель нужно 80гб видеопамяти максимум что могут позволить себе даже с 4090 это маленькая модель вот так вот а цензура да она есть в основном про Китай если что-то спрашивать то блочит и отказывается говорить о таком хотя цензура скорее всего на сервисе.
Я тоже установил локально DeepSeek 8b b и как по мне она сильно проигрывает относительно тойже llama3.1 относительно моих целей а именно для ролеплея - она находясь в роли начинает мне описывать что и как она думает и что ей отвечать в общем такое себе - возможно для других целей и будет ок
Скачать файл с ссылками на сервисы можно по ссылке: t.me/gptnavigator/134
Это же дистиллированные модели да и еще и другие, да и еще и самые фиговые установил, заголовок громкий а внутри как бы не то ((
вот хотел написать - опередили
Ну мы же наверное не ожидали, что у автора есть 16 штук NVIDIA A100 80GB или типа того...
Увы, в домашних условиях неурезанный r1 запустить не выйдет :(
@@Antonius77запускали на 64 ядерном эпике, 512 гб ддр4 и четырёх 3090... Считай домашний комп 😊
@@vladmir8115какую модель? 761b?
люди, чудес не бывает, никакая маленькая локальная модель работающая на домашнем компьютере не сравнится с моделью работающей на суперкомпьютере!
Эти маленькие модели " тоже могут"
Смотря для чего.
Для 90% что есть у нас в головах - хватит почти любой модели средней упакованности (разница минимальна или отсутствует).
Чтобы поставить модель в тупик или отправить в галлюцинации - нужно отдельно думать
а теперь срочно видео, как удалял ИИ!!!
Не как , разгрузка в биос прописываеться ,только вариант, сносить))все
Я ставил ollama и deepseek r1 8b на RTX3070ti 8gb - отвечает сразу и очень быстро, в целом общается норм, но веб версия на 700b конечно лучше. Ну и очевидно, что все модели ниже 700b будут сильно слабее, никакие локальные 32b и даже 70b не сравнятся с официальной веб версией.
Просто "супер умная" модель 32b простой вопрос как приготовить плов, понесла такую околёсицу мама не горюй. В общем до онлайн сервиса ей как до луны пешком.
установил локально версию на 14b,все примерно тоже самое,пишет то на русском,то на английском.На вопрос какая у него версия ответил что он создан в компании яндекс и все вопросы туда).Установил,попробовал,удалил.Что в моб.,что в веб версии дипсик говорит что его данные актуальны на октябрь 2023 года
Такую же хрень про актуал мне написал
это потому что оригинальная модель закрытая и ее нельзя скачать. 32b тоже иногда на англи пишет и матерится на китайском.
70b тоже пишет в том числе на английском и иероглифами
Как я понял дистиляция моделей это обучение маленьких моделй на ответах что выдовал самая большая модель
Перематываю сразу 2-3 минуты любого видоса, потому что там просто тратят моё время рассказывая о том , о чем расскажут...
держи в курсе
Ты нейросеть чтоле?)
Настала пора апгрейдить буку.
Спасибо!
Не знал что это режим расширенного мышления.
Так текст круто обработал, дополнил словами, изменил структуру, добавил всяких триггеров, вообще не узнать, зачитаешься. Ещё и целую портянку с объяснениями выкатил, что, как и зачем он делал))
А в обычном режиме уступает чату гпт.
Я тоже текст добавлял, он его улучшает, но текст становится очень маленьким по сравнению с исходником.
@@dmitriyv5740 не заметил, специально сравнил, кол-во 1 в 1. Если нужен больше, попроси его увеличить текст но без воды, вообще без проблем.
Спасибо за вашу работу, но нельзя ли прогнать звук через нейронку, чтобы его можно было слушать?
врятле так как она даже изображение не считывает еще
Я думаю «расширенное мышление» это подразумевается, то объяснение которое он дает в процессе формирования ответа на ваш запрос.
А если выключить этот режим, нейронка не будет описывать сам процесс своих размышлений. На самом деле это очень круто. Нам наглядно показали, что она мыслит как мы. Её сделали как человека мыслящего.
Понимаете о чем я ?
отлично. четко понятно по делу. хотелось бы еще видео вашего опыта использования. Лайки и подписка - все сделеал
Спасибо! Лайк , подписка , хорошо бы запилить видео про локальные версии без цензуры .
Спасибо за добрые слова! Я последнее время прям часто слышу про цензуру. Изучу вопрос, спасибо за наводку!
Для работы с ollama можно еще использовать OpenWebUI - тогда будет доступ к ИИ с других компьютеров через веб интерфейс
спасибо за работу
Чем же он отличается от обычных поисковиков?
На сайте DeepSeek обычный режим - это модель DeepSeek-v3, а режим расширенного мышления - это самая последняя и продвинутая модель DeepSeek-R1. Так что в обычном режиме вы будете общаться с более ранней и слабой DeepSeek версии 3.
На сайте есть режим R1, отлично работает
@@Valera5159 в приложении на андроид этот режим тоже работает.
блин ты работаешь с нейросетями. почему у тебя такой плохой звук с шумами нельзя разве нейронкой выправить звук чтобы небыло фонового шума.
Жду микрофон. В нем проблема. Если улучшать нейросетью, получается еще хуже, голос вообще не естественный. Скоро будет звук заебись!
API ключ где взять?
самому надо создать и прикрутить
@@igroyktне надо там никаких api прикручивать
Так это просто лучшая версия ЛАМЫ но без доступа к интеренту вроде он не имеет 90% своих БД обученых. Их вроде для скачки не давали. Там несколько десятков террабайт а то и больше.
не вводите людей в заюлуждение. те маленькие модели совсем не то и результат далек от оригинала.
Ничего не понял. Можно по-русски?
@@iq240-1 модели, доступные для локального запуска намного слабже той, что на серверах в Китае и отвечает в браузере
Спасибо!
А какие нужны минимальные характеристики?
Мне не понравилось ввод с голоса нет, ввод фото нет, создать картинку нет. Не убедил
А. А. Ааааа... ДОСТАЛ!
Установили. Правда, работает хреново, но не беда. Главное файлы скачались на диск. Примерно таков результат😀
Да смысл это делать? Локальная модель еще свежей нейросети - это не показатель от слова "совсем".
Deepseek за дудосили уже изза таких крутых моделей переходим медленно на локал правда топовую не получиться запустить не как нужно быть миллионером так как для запуска топовой модели нужна видюха h100 как минимум а лучше пару чтобы не было лагов минимальные требования 80гб видеопамяти
Минимальные требования 16 шт а100
Она же работает через раз, а для простого человека такая же как GPT только бесплатная
а если поставить на сервер, какой должен быть для максимальной модели параметры сервака? а главное, есть ли api, для подключения с уже нашего сервера? очень уж хочется делать массовые операции на сайте (товары пилить, поиск и пр.) и не зависеть от токенов и милости к нашему ip.
тут надо выбирать между cpu+ram или gpu+vram. второй конечно намного быстрее будет. заструдняюсь ответить поскольку я запуска 32b на конфигурации 64gb ram и 12gb vram geforce 1080 ti и не вижу чтобы ram полностью был нагружен (1.5гига где-то, но кэш на все 32) и vram тоже (примерно на 9 гигабайт знаят). но учитывая размер модеи думаю 2 штуки rtx 4080ti вполне потянут с оперативой в 128гб. протестируй и дай знать)
@@igroyktне вытянут, 128гб оперативки + 16гб vram не дают запустить 671b
Ну так создай обучить и пользуйся, или вы хотите все готовое.....
На компьютер локально нет смысла,так как нужен доступ с выходом интернет для поиска новых новостей с науки например.
С картинками он работает?
Нет, данная модель не работает.
А карта у вас Nvidia? Или через Оламу будет и на AMD работать? В смысле, на недорогом AMD. Для последних дорогих моделей, вроде, какой-то костыль придумали для нейронок.
Ollama не работает со старыми AMD, а Koboldcpp работает - через технологию Vulkan
неверно. 14b значит 14 миллиардов токенов. значит оперативы надо в 2 раза больше, чтобы и нейросеть работала и ос не тормоzilla. в реале можно видеть что нейросеть не кушает столько оперативы, но можно видеть сколько кэша скапливается в оперативе.
неверно. это не токены а параметры. это разные понятия.
Без ИИ не установишь ИИ!
Вроде канал по AI, но почему то автор запускает самый ущербный вес на 1.5B. Хотя бы версию DeepSeek-R1-Distill-Qwen-32B-GGUF-IQ3-M запустил бы, который требует только 24GB VRAM (2 штуки RTX 3060, либо один RTX 3090). На 70B требует со средним квантованием требует ~48GB VRAM.
Спасибо за ChatBox. Но смысл вообще устанавливать deepSeek локально на комп? Он и на сайте отлично работает без всяких костылей. Если уж тестировать, то на сайте.
Согласен с тобой! Но ради спортивного интереса решил попробовать
Насколько я знаю, deepseek на сайте не знает, что произошло на площади Тяньаньмэнь, и не про какой Тайвань тоже не знает.
А на компе это же будет открытая версия.
Я не разбираюсь, и даже если локальная версия тоже зацензурена, то как минимум это пример того, как хорошо может работать что-то на персональном компе, а значит гипотетически без цензуры от корпораций или государств.
@@user-xyjvochko228 не лезьте в китайскую политику и будет вам счастье😊
@@user-xyjvochko228модели тренируются один раз и китайская цензура будет одна и та же. Модель это слои параметров, значения которых натренированы заранее.
Людям страшно они бояться а вдруг на сутки интернета не будет и они не узнают например первый закон ньютона от нейронки, и их жизнь в этот момент может очень сильно испортиться 😂😂😂
Поставил 32b q5 на пк с rtx 3090 и ryzen 3900xt, 17 токенов в сек, полёт нормальный. Если есть видюха на 24г, это самый лучший вариант домашнего ллм.
Без квантования взлетела?у менч на rtx 3060 12gb 7b chat без квантования заработала, но жрет все 12 нб видеопамяти
@ЮрийФилатов-о4б , 32b - это и есть квантованная от Оргиниальной.
На что влияет ТЕМПЕРАТУРА Chatbox?
В большинстве ИИ-моделей температура отвечает за то, насколько к ответу примешивается случайная информация. Эта ерунда часто называется "креативностью" модели. Лучше ставить равной нулю )))
Дядя... сижу пол года на ней с версии 2.0 -и кипятком ссусь. мне твой чэдтгэпэтэ вообще не упал.
Минус нет работы с картинками.
дипсик в контексте очень путается, лично проверял, херня кароче полная, темболие голосового режима нету. с чат жпт я включаю голосовой режим кидаю в карман мобилу и часами могу с ним общаться
Всё как в китайском автопроме! ))
У кого нибудь он работает? Виснет на загрузке ответов.
На андроиде летает!
Помоги установить Devika ai
Очень конкретный урок. Всё понятно и анализ полезный!
нахрена мне этот бредогениратор?)
СПАСИБО!!! Подробнейше и без воды !!!👍👍👍
Спасибо за добрые слова, друг!
@neuralandprompts почему-то стал писать ответы на английском ( в чём причина?
@@BeneDETHyou Вообще он сырой еще. Да и GPT и Claude таким грешат, я их вежливо прошу перейти на нужный язык
@@BeneDETHyou Потому что была установлена самая тупая модель.
@на 32 ставил ..проц i9 оперативы 32 ..карта 3070
Что по цензуре?
Китайская цензура можно отключить но цензура в основном китайская но не получиться у себя дома поставить самую мощную модель нужно 80гб видеопамяти максимум что могут позволить себе даже с 4090 это маленькая модель вот так вот а цензура да она есть в основном про Китай если что-то спрашивать то блочит и отказывается говорить о таком хотя цензура скорее всего на сервисе.
И кого ж нах ты там будешь посылать ?
@@ytghgb ключики решил сгенерировать хе-хе
Она в наличии
1.5b такую чушь несёт, tinyllama на голову адекватнее
ua-cam.com/users/shortsHa7L1wwZcwg?si=L1sIcsFi_nbuYeb1
😂
Я тоже установил локально DeepSeek 8b b и как по мне она сильно проигрывает относительно тойже llama3.1 относительно моих целей а именно для ролеплея - она находясь в роли начинает мне описывать что и как она думает и что ей отвечать в общем такое себе - возможно для других целей и будет ок
Пиши мне, я тебе чего хочешь отвечу 😝😝
лайк тебе мужик👍