Приветствую на канале! В список пожеланий по роликам добавил, пока без обещаний сроков. Спасибо за лайк\подписку\комментарий\донат и любую другую поддержку проекта! Удачного самохостинга!
Приветствую на канале! Рад, что удалось помочь Вам в начинаниях домашнего сервера. Спасибо за лайк\подписку\комментарий\донат и любую другую поддержку проекта! Удачного самохостинга!
Вышла версия v0.4, и она изменила логику работы с моделями. Раньше всё было проще, но теперь установку моделей перенесли в административную панель: Соединения -> Manage Ollama API Connections. Модели нужно добавлять и управлять ими именно там. Сейчас сам пытаюсь разобраться с этой новой логикой, так что если кто-то столкнётся с проблемами, имейте в виду изменения.
Приветствую на канале! Спасибо за комментарий. Опубликовал в тг сообществе информацию для других, как попасть в загрухку моделей. Удачного самохостинга!
Приветствую! Уверен сообществу комментарий будет полезен, спасибо! И спасибо за лайк\комментарий\подписку\донат и любую другую поддержку проекта! Удачного самохостинга!
Приветствую на канале! Спасибо на добром слове, начало положено, бросать вещи не в моих правилах. И спасибо за лайк\подписку\комментарий\донат и любую другую поддержку проекта! Удачного самохостинга!
Насчёт поддерживаемого языка, я ставил лламу 8б и 70б, и она хорошо по русски говорила. Были редкие случаи когда она вставляла английские слова но это редкий случай
Приветствую на канале! Мой посыл скорее не про "возможность четко и без акцента ответить", а про качество сути ответа(содержимого), оно может быть удовлетворительным и содержательным, но во многих сегментах оно будет сильно хуже, чем на английском. Более подробно про особенности этой тематики можно почитать например тут habr.com/ru/articles/787894/ Удачного самохостинга!
Отличный ролик! Единственное, чего не хватает по теме устаноаки и запуска - нужно бы сравнить скорость генерации в докере напрямую в системе со скоростью того же докера но в proxmox, в которой поднят LXC в котором поднят докер. Насколько велик оверхед. И соответственно, в следующих роликах эту тему продолжить на видеокарту. Т.е. какой оверхед на ИИ накладывает Proxmox с пробросом видеокарты на виртуалку с ИИ по сравнению с установкой нативно (докер на нативной установке ОС на железо).
Приветствую на канале! Спасибо за комментарий! С учетом того, что мы для настоящей работы с LLM будем использовать GPU переданное "насквозь", я не вижу предпосылок к ощутимым потерям в производительности. Но идея понятна. Как будет время - обязательно сравним голое железо, против виртуализированной системы в докере. Удачного самохостинга!
Приветствую ! Аренда впс без видео карты - скорее всего Вам ничего не даст. Аренда впс с мощным CPU быстро вытянет весь домашний бюджет... Спасибо за лайк\комментарий\подписку\донат и любую другую поддержку проекта! Удачного самохостинга!
Видео хорошее, но не хватает четвертой части. Мне было бы интересно узнать про хранение модели в озу (ксионы с барахолки + бу регистровая память) и запуск ее на проце с использованием видео карты в качестве помощи (еще лучше если двух видео карт). Так как для меня мелкие модели не интересны, а купить я могу только бытовую видео карту. и ту не слишком продвинутую из 30той линейки. Не о каком хранении модели в ОЗУ видео карты речи не идет... Вот и думаю о домашнем сервере из БУ комплектующих. Но для раздумий не хватает хотя бы примерного представления на сколько оно получится задумчивой....
Приветствую на канале! Как и в любом хобби - чтобы что-то пробовать, это что-то должно у нас с Вами быть. У меня пока под рукой нет оборудования, о котором Вы говорите. Но ход мысли разделяю, ресурс не про production среду, там никто ничего не собирает - есть куча сервисов для аренды GPU, если есть потребность в мощностях - правильно идти и арендовать. А для дома - мы несомненно должны держать прицел на доступное массам оборудование, а не топовое железо с выставки. Удачного самохостинга!
@@samohosting 😍 А сервер вы на чем собирали? Не на калькуляторе же. При наличии озу больше 32Гб идею можно проверить с более мелкой моделью. Разместив модель в ОЗУ и настроив видео карту в помощь. Так что скорее всего у ВАС есть железо для проверки под рукой. АМД или Нвидеа тут не принципиально. достаточно взять мелкую модель и сравнить - вот вся модель в видео памяти, а вот в оперативной. Скорость тут такая, а тут такая.
@@samohosting В ютубе вышло видео "Cheap mini runs a 70B LLM" там поставили 96Gb Ram и запускали 70B на интеловской встройке, гоняя модель в RAM. В принципе я получил ответы на большинство вопросов... Но мне бы интересно знать, по доступное БУ серверное железо (ксионы или вторые эпики)... и что в него воткнуть в качестве доступной видео карты (интел или 3070m, и те и те продаются по доступной цене). На этом пути явно есть подводные камни и мне не хватает опыта что бы их предвидеть.
Замечательное видео! Но появился вопрос. Дак в чем же эта OLLAMA лучше ChatGPT от openai? ChatGPT хотя бы понимает русский язык, и не нужно вот это переключаться, искать нормальные модели, использовать разные модели под разные задачи. И для чего же нужна эта OLLAMA? А Copilot, как развернуть, в чем отличие от OLLAMA? Очень интересная тематика у видео! Продолжайте
Приветствую на канале! Два основных фактора(зачем): 1. Ваши данные остаются только у Вас, не уходят никому. 2. Как Вам уже подсказали подписчики - Вы не платите за подписку использования. Я не готов привести цифры, но почти уверен, что на русском у ChatGPT тоже огромная просадка. То, что он Вам в состоянии отвечать и переводить ответы - не означает, что она была на кирилице и русском языке оттренирована в таком же объеме, что и на английском. Copilot обычно используется, как помошник в написании кода, существуют плагины\дополниения к vscode например. которые позволят подключить локальную модель. И AI будет пытаться Вам подсказать\завершить код, как второй пилот самолета. Удачного самохостинга!
Приветствую на канале! Сильно зависит от того, для каких целей. Если как co-pilot в програмировании, то уже даже на текущем этапе развития - вполне полезный инструмент. Удачного самохостинга!
Объясните мне пожалуйста, никак не пойму: в чём смысл этого локального AI? Насколько я понимаю всякие ChatGPT и прочие Copilot'ы при запросе к ним ищут инфу в своих терабайтных базах данных (а разные Preplexity ещё и сразу в интернете) и генерируют тебе ответ. А если эта OLLAMA локальная, в интернет не выходит, то откуда она будет брать инфу для решениях твоих задач?
Приветствую на канале ! Модели, которые мы скачиваем(LLM) это и есть тот набор знаний, о которых Вы говорите. Модели могут быть от нескольких 100mb до 500GB(из того, что мне попадалось на глаза, но я не уверен предел ли это по размеру модели в октрытом програмном коде или есть больше) Но даже 500GB - это сверх, объем, который запустить дома - крайне дорогое удовольствие. Существуют механизмы сжатия и переобучения, которые направлены на снижение размера с сохранением качества знаний. Благодаря этому, мы получаем относительно не большие модели, но с большим объемом знаний. Кроме этого работают и над скоростными показателями и над качеством ответов и логикой мышления язоковых моделей. Существуют узко направленные модели, которые например мало знают про физику и не смогут решать задачи физ. теха, но отлично смогут Вам помогать писать программный код. Спасибо за лайк\комментарий\подписку\донат и любую другую поддержку проекта! Удачного самохостинга!
@@samohosting а например той же OLLAM'е можно "подсунуть" учебник в формате PDF например по тому же Python или физике, чтобы она его обработала, впитала из него знания и потом задавать ей задачи чтобы она их решала. Исходя из объема знаний учебника/справочника.
2-4 года OpenAI сможет сделать тебе допустим инсту или тикток которую заблокировали и добавит все видео и всех пользователей вот это уже интереснее намного!
Приветствую! Рад, что тематика интересна. Подписывайтесь еще и в телеграм. Там я публикую еще и анонсы того, что в проработке, будет без "сюрпризов" выход роликов. Удачного самохостинга!
Вам должно быть достаточно использовать официальный скрипт установщик 1 командой Введите команду в терминале сервера: curl -fsSL ollama.com/install.sh | sh Почитать код скрипта можно тут github.com/ollama/ollama/blob/main/scripts/install.sh Инструкция для linux установки в ручном режиме тут github.com/ollama/ollama/blob/main/docs/linux.md
Приветствую на канале! Я стараюсь рассказывать о том, что делал сам и показываю на своем примере. У меня нет дискретных GPU. А встройка АМД - настоятельно не рекомендуется для таких задач, слишком много боли =) В прошлом году с обновлениями rocm стало лучше, но пока.. все еще не рекомендуется. А пересказывать ролики, как передать NVIDIA \ INTEL GPU, ну так они уже есть, подробные. В планы след. года входит сборка под AI бюджетного решения с дискретной картой, там уже и смогу поговорить на эти темы. Спасибо за лайк\комментарий\подписку\донат и любую другую поддержку проекта! Удачного самохостинга!
Огромное спасибо за подробное руководство по локальной установке Ollama. С нетерпением жду видео про русскоязычные модели
Приветствую на канале!
Спасибо за лайк\комментарий\подписку\донат и любую другую поддержку проекта!
Удачного самохостинга!
Глянул список видосов с канала, 2 из 3х мне нужны. Жирный лайк братиша!
Приветствую на канале!
Спасибо за лайк\подписку\комментарий\донат и любую другую поддержку проекта!
Удачного самохостинга!
Спасибо за видео. Хотелось бы чтобы показал видео с установкой локального AI для работы со своими базами знаний на не требовательном компьютере.
Приветствую на канале!
В список пожеланий по роликам добавил, пока без обещаний сроков.
Спасибо за лайк\подписку\комментарий\донат и любую другую поддержку проекта!
Удачного самохостинга!
у тебе хорошая подробная подача материала и темы мне лично все интересны, начиная с некстклауда и до ллм локальных
Приветствую на канале!
Рад, что удалось помочь Вам в начинаниях домашнего сервера.
Спасибо за лайк\подписку\комментарий\донат и любую другую поддержку проекта!
Удачного самохостинга!
Вышла версия v0.4, и она изменила логику работы с моделями. Раньше всё было проще, но теперь установку моделей перенесли в административную панель: Соединения -> Manage Ollama API Connections. Модели нужно добавлять и управлять ими именно там. Сейчас сам пытаюсь разобраться с этой новой логикой, так что если кто-то столкнётся с проблемами, имейте в виду изменения.
Приветствую на канале!
Спасибо за комментарий.
Опубликовал в тг сообществе информацию для других, как попасть в загрухку моделей.
Удачного самохостинга!
Автору респект за видео и продолжение работы на ютубе несмотря на все трудности, сознательно создаваемые ему в России.
Приветствую на канале!
Спасибо за лайк\подписку\комментарий\донат и любую другую поддержку проекта!
Удачного самохостинга!
Попробуйте модель t-lite, она дообучена на русских текстах.
Приветствую!
Уверен сообществу комментарий будет полезен, спасибо!
И спасибо за лайк\комментарий\подписку\донат и любую другую поддержку проекта!
Удачного самохостинга!
Дружище канал супер, продолжай!!!!
Приветствую на канале!
Спасибо на добром слове, начало положено, бросать вещи не в моих правилах.
И спасибо за лайк\подписку\комментарий\донат и любую другую поддержку проекта!
Удачного самохостинга!
Спасибо! Лайк и подписка!
Приветствую на канале!
Спасибо за лайк\комментарий\подписку\донат и любую другую поддержку проекта!
Удачного самохостинга!
класс
Приветствую!
Cпасибо за лайк\комментарий\подписку\донат и любую другую поддержку проекта!
Удачного самохостинга!
Спасибо большое)))
На здоровье и приятного просмотра.
Удачного самохостинга!
умничка
Приветствую на канале.
Спасибо за лайк, подписку, комментарий и любую другую поддержку проекта.
И само собой удачного самохостинга!
Насчёт поддерживаемого языка, я ставил лламу 8б и 70б, и она хорошо по русски говорила. Были редкие случаи когда она вставляла английские слова но это редкий случай
Приветствую на канале!
Мой посыл скорее не про "возможность четко и без акцента ответить", а про качество сути ответа(содержимого), оно может быть удовлетворительным и содержательным, но во многих сегментах оно будет сильно хуже, чем на английском.
Более подробно про особенности этой тематики можно почитать например тут habr.com/ru/articles/787894/
Удачного самохостинга!
Отличный ролик!
Единственное, чего не хватает по теме устаноаки и запуска - нужно бы сравнить скорость генерации в докере напрямую в системе со скоростью того же докера но в proxmox, в которой поднят LXC в котором поднят докер.
Насколько велик оверхед.
И соответственно, в следующих роликах эту тему продолжить на видеокарту. Т.е. какой оверхед на ИИ накладывает Proxmox с пробросом видеокарты на виртуалку с ИИ по сравнению с установкой нативно (докер на нативной установке ОС на железо).
Приветствую на канале!
Спасибо за комментарий!
С учетом того, что мы для настоящей работы с LLM будем использовать GPU переданное "насквозь", я не вижу предпосылок к ощутимым потерям в производительности.
Но идея понятна. Как будет время - обязательно сравним голое железо, против виртуализированной системы в докере.
Удачного самохостинга!
Интересно. Есть ли способ скаченную модель до обучить на локальных файлах pdf или doc?
Приветствую!
Да, будет видео и про это.
Cпасибо за лайк\комментарий\подписку\донат и любую другую поддержку проекта!
Удачного самохостинга!
Тоже интересует эта тема@@samohosting
Добрый день. Спасибо за труды. Правильно ли я понял, развернуть ламу на дешевой vps - плохая идея, нужна видеокарта?
Приветствую !
Аренда впс без видео карты - скорее всего Вам ничего не даст.
Аренда впс с мощным CPU быстро вытянет весь домашний бюджет...
Спасибо за лайк\комментарий\подписку\донат и любую другую поддержку проекта!
Удачного самохостинга!
@@samohosting спасибо за ответ 🤝
сперва лайк
Приветствую на канале!
Спасибо за комментарий по теме и лайк\подписку\донат и любую другую поддержку проекта!
Удачного самохостинга!
Видео хорошее, но не хватает четвертой части. Мне было бы интересно узнать про хранение модели в озу (ксионы с барахолки + бу регистровая память) и запуск ее на проце с использованием видео карты в качестве помощи (еще лучше если двух видео карт). Так как для меня мелкие модели не интересны, а купить я могу только бытовую видео карту. и ту не слишком продвинутую из 30той линейки. Не о каком хранении модели в ОЗУ видео карты речи не идет... Вот и думаю о домашнем сервере из БУ комплектующих. Но для раздумий не хватает хотя бы примерного представления на сколько оно получится задумчивой....
Приветствую на канале!
Как и в любом хобби - чтобы что-то пробовать, это что-то должно у нас с Вами быть.
У меня пока под рукой нет оборудования, о котором Вы говорите.
Но ход мысли разделяю, ресурс не про production среду, там никто ничего не собирает - есть куча сервисов для аренды GPU, если есть потребность в мощностях - правильно идти и арендовать.
А для дома - мы несомненно должны держать прицел на доступное массам оборудование, а не топовое железо с выставки.
Удачного самохостинга!
@@samohosting 😍 А сервер вы на чем собирали? Не на калькуляторе же. При наличии озу больше 32Гб идею можно проверить с более мелкой моделью. Разместив модель в ОЗУ и настроив видео карту в помощь. Так что скорее всего у ВАС есть железо для проверки под рукой. АМД или Нвидеа тут не принципиально. достаточно взять мелкую модель и сравнить - вот вся модель в видео памяти, а вот в оперативной. Скорость тут такая, а тут такая.
@@samohosting В ютубе вышло видео "Cheap mini runs a 70B LLM" там поставили 96Gb Ram и запускали 70B на интеловской встройке, гоняя модель в RAM. В принципе я получил ответы на большинство вопросов... Но мне бы интересно знать, по доступное БУ серверное железо (ксионы или вторые эпики)... и что в него воткнуть в качестве доступной видео карты (интел или 3070m, и те и те продаются по доступной цене). На этом пути явно есть подводные камни и мне не хватает опыта что бы их предвидеть.
Замечательное видео! Но появился вопрос. Дак в чем же эта OLLAMA лучше ChatGPT от openai? ChatGPT хотя бы понимает русский язык, и не нужно вот это переключаться, искать нормальные модели, использовать разные модели под разные задачи. И для чего же нужна эта OLLAMA? А Copilot, как развернуть, в чем отличие от OLLAMA? Очень интересная тематика у видео! Продолжайте
Они платные
Приветствую на канале!
Два основных фактора(зачем):
1. Ваши данные остаются только у Вас, не уходят никому.
2. Как Вам уже подсказали подписчики - Вы не платите за подписку использования.
Я не готов привести цифры, но почти уверен, что на русском у ChatGPT тоже огромная просадка.
То, что он Вам в состоянии отвечать и переводить ответы - не означает, что она была на кирилице и русском языке оттренирована в таком же объеме, что и на английском.
Copilot обычно используется, как помошник в написании кода, существуют плагины\дополниения к vscode например. которые позволят подключить локальную модель.
И AI будет пытаться Вам подсказать\завершить код, как второй пилот самолета.
Удачного самохостинга!
интересно но пока слишком сыровато. годика чрез 2 дмаю можно будет завести себе виртуального помошника
Приветствую на канале!
Сильно зависит от того, для каких целей.
Если как co-pilot в програмировании, то уже даже на текущем этапе развития - вполне полезный инструмент.
Удачного самохостинга!
Вот блин. Раскатал на серваке у себя (настоящем) - выкатил 12 ядер, 32гб. Отвечает очень медленно. Вот что значит видеокарта
Приветствую на канале!
К сожалению - чудес не бывает, это действительно ресурсоемкая задача.
Удачного самохостинга!
Объясните мне пожалуйста, никак не пойму: в чём смысл этого локального AI? Насколько я понимаю всякие ChatGPT и прочие Copilot'ы при запросе к ним ищут инфу в своих терабайтных базах данных (а разные Preplexity ещё и сразу в интернете) и генерируют тебе ответ. А если эта OLLAMA локальная, в интернет не выходит, то откуда она будет брать инфу для решениях твоих задач?
Приветствую на канале !
Модели, которые мы скачиваем(LLM) это и есть тот набор знаний, о которых Вы говорите.
Модели могут быть от нескольких 100mb до 500GB(из того, что мне попадалось на глаза, но я не уверен предел ли это по размеру модели в октрытом програмном коде или есть больше)
Но даже 500GB - это сверх, объем, который запустить дома - крайне дорогое удовольствие.
Существуют механизмы сжатия и переобучения, которые направлены на снижение размера с сохранением качества знаний.
Благодаря этому, мы получаем относительно не большие модели, но с большим объемом знаний.
Кроме этого работают и над скоростными показателями и над качеством ответов и логикой мышления язоковых моделей.
Существуют узко направленные модели, которые например мало знают про физику и не смогут решать задачи физ. теха, но отлично смогут Вам помогать писать программный код.
Спасибо за лайк\комментарий\подписку\донат и любую другую поддержку проекта!
Удачного самохостинга!
@@samohosting а например той же OLLAM'е можно "подсунуть" учебник в формате PDF например по тому же Python или физике, чтобы она его обработала, впитала из него знания и потом задавать ей задачи чтобы она их решала. Исходя из объема знаний учебника/справочника.
@@Андрей-ы1ш1ч Тоже послушаю
2-4 года OpenAI сможет сделать тебе допустим инсту или тикток которую заблокировали и добавит все видео и всех пользователей вот это уже интереснее намного!
Приветствую на канале!
Спасибо за лайк\подписку\комментарий\донат и любую другую поддержку проекта!
Удачного самохостинга!
А серверы ты где такие возьмёшь?))
@@igor.volkovон локально будет запускать))
А вот это неожиданно, приятный подгон от @samohosting
Приветствую!
Рад, что тематика интересна.
Подписывайтесь еще и в телеграм.
Там я публикую еще и анонсы того, что в проработке, будет без "сюрпризов" выход роликов.
Удачного самохостинга!
Расскажи как установить на линукс-сервер без видео-карты, плз
Вам должно быть достаточно использовать официальный скрипт установщик 1 командой
Введите команду в терминале сервера:
curl -fsSL ollama.com/install.sh | sh
Почитать код скрипта можно тут
github.com/ollama/ollama/blob/main/scripts/install.sh
Инструкция для linux установки в ручном режиме тут
github.com/ollama/ollama/blob/main/docs/linux.md
о пробросе видеокарт в виртуалки побольше бы инфы..
Приветствую на канале!
Я стараюсь рассказывать о том, что делал сам и показываю на своем примере.
У меня нет дискретных GPU.
А встройка АМД - настоятельно не рекомендуется для таких задач, слишком много боли =) В прошлом году с обновлениями rocm стало лучше, но пока.. все еще не рекомендуется.
А пересказывать ролики, как передать NVIDIA \ INTEL GPU, ну так они уже есть, подробные.
В планы след. года входит сборка под AI бюджетного решения с дискретной картой, там уже и смогу поговорить на эти темы.
Спасибо за лайк\комментарий\подписку\донат и любую другую поддержку проекта!
Удачного самохостинга!
Большие модели нормально с русским обращаются
у меня tinyllama пишет загрузка отменена
Приветсвую на канале!
Стоит посмотреть логи и наличие достаточно места, может просто напросто не хватает для скачивания пространства..