Спасибо, Андрей! Актуальная информация. Я , также, занимаюсь ассистентами и вижу в этом большую перспективу. С удовольствием буду смотреть Ваши выпуски.
Народ! Подписывайтесь именно сюда. Здесь самый толковые гайды по языковым моделям. У автора явный талант доходчиво доносить информацию. Всё четко, всё по полочкам и при этом без занудства. Так держать!
Попробовал оба способа, скормил Ламе технические условия, достаточно объёмный и сложный документ, в формате docx и в обычном текстовом файле и попросил проверить опечатки. Специально удалил из пары слов по 1 букве, для проверки, найдёт или нет. Импорт Docx в LM Studio похоже, работает не вполне корректно, в некоторых словах появляются лишние пробелы, такие слова Лама считает ошибками. Сокращения она тоже плохо понимает - это когда файл был прикреплён в LM-Studio напрямую. В AnythingLLM я пробовал только с простым текстовым файлом. Там лишних срабатываний не было, но и внесённые тестовые опечатки Лама не нашла. Вместо этого прицепилась к окончанию одного слова, якобы оно неправильное. Изучение лога сервера показало, что она весь текст не читала, выхватила небольшой фрагмент ближе к концу. Возможно, нужно токенов ей не 4096 дать, а побольше. Мои внесённые опечатки во фрагмент не попали. Но и в самом фрагменте имевшуюся опечатку Лама не нашла, я её нашёл при чтении лога сервера :) Парсинг веб-страниц ещё не пробовал, попробую завтра. Общее впечатление - хреново она русский язык знает. С AnythingLLM результат менее "зашумлённый" получается, но заставлять её проверять орфографию, похоже, бесполезно. Запущенный сервер подхватила сама, без вписывания URL, сервер я запустил заранее. Надо будет ещё попробовать с другой моделью, например, с Mistral Спасибо за тутор, с AnythingLLM самостоятельно разобраться не получилось, а по тутору документ подхватился
Интересный опыт. Похоже еще есть связь между железом и ответами. На более мощном, она думает лучше и не выдает ответы на Английском. Ну и квантизация тоже может решать одна и та же модель 8b с разной квантизацией может работать сильно по разному!
@@NeuroGeek1 Квантизация однозначно влияет. И ещё, варианты одной и той же модели от разных "сборщиков" вообще ведут себя по-разному. Meta-Llama-3.1-8B-Instruct-GGUF от LM Studio Community, Meta-Llama-3.1-8B-Instruct-Q4_K_M от Bartowski и Lexi-Llama-3-8B-Uncensored_Q4_K_M от Orenguteng на одни и те же вопросы давали вообще разные ответы.
Спасибо за инфу, похоже, то что искал, не читал пока всю ветку коментов. Спрошу упрощенно, есть 3 учебника с фото и текстами и схемами, получится у меня таким методом закинуть их в Ламу для быстрого общения с ними и вытяжки нужной инфы быстро а также потом сравнивать фото и графиков (поясняю) кидаю в ламу фото и спрашиваю какому диагнозу соответствует? лама ищет ответ в базе книг закинутых туда ранее и дает ответ по текущей фото (вопросу)???
по моему вполне очевидно, что простая маленькая нейронка работающая на простом компьютере не может сравниться с одной из самых продвинутых нейронок на сегодняшний день, которая работает на суперкомпьютере...
Спасибо большое! давно искал нечто подобное. А подскажите пожалуста на Вин11 в какую именно папку applications и где нужно забрасывать Anything LLM? спасибо
а можно ли указать папку на компьютере, в которой лежат файлы (например Markdown-файлы), и чтобы нейронка из них брала информацию? то есть состав файлов меняется, а LLM это учитывает каждый раз
@@NeuroGeek1 посмотрел, лайкнул. То что в настройках можно ползунок двигать я в курсе, там лимит на 18 ядер, а у меня 36 ядер 72 потока. Вопрос был как лимит можно подкрутить, может есть команды какие?
Здравствуйте! Установил LM Studio, но когда получаю ответ, с русским языком какие-то проблемы, присутствуют английские слова, то иероглифы. Как это можно исправить? Вот пример: "Assistant Llama-3.2-3B-Instruct-4bit Погода в Москве сейчасquite cloudsaya и rainshnay. Температура around 15°C (59°F) и bit vindy. Как вы ktoblete? 22.73 tok/sec • 39 tokens • 0.47s to first token •Stop: eosFound"
Хорошо бы добавить папку со своим программным проектом , а Anything LLM автоматически обновляла инфу для LM Studio. А так получается через 2-5 часов работы информация становится не актуальна, необходимо заново токенизировать проект.
Все программы обновляются регулярно и LM Studio и Anything LLM, поэтому возможно докинут, а возможно вообще изменят интерфейс и все будет работать по другому, динамика изменений очень большая...
В Anything LLM нельзя установить нейросеть, как в LM Studio. Там другой интерфейс, обязательно нужна связка или с LM Studio или с Ollama или OpenAI по API
@@NeuroGeek1 зачем вы удаляете мои ответы? Разберитесь в программах о которых делаете материалы. В Anything LMM можно и скачать и установить любую нейронку из кучи представленных - выбираете, автоматом качается и подключается. Только обучаться на приатаченных ссылках или локальных материалах она не будет. Надеюсь пока.
Спасибо! Попробовал загрузить сайт Suno и попросил модель составить простой промт - русский рок, мужской вокал . Результат обескураживает в плохом смысле. Ответ на конкретные вопросы не модель не дает. Напоминает расплывчатый и ниочем ответ юристов на моей прошлой работе.
@burdinAI ну по второму пункту я многое допускаю, может кртво скачал... у меня скорее по первому... почему не ищет и не предлагает скачивать... как будто интернета нет... хотя никаких фаерволов и т.п. у меня не стоит....
@burdinAI ничего страшного. Взял из предыдущего видел ollama и связал ее с python. Сижу балуюсь. При помощи иных gpt пишу код работы ollama - кароче кайф. Очень рад что нашел этот клад - канал!!!!
Первый раз тебя увидел и llama заинтересовала, выбрал плейлист и сразу ничего не понятно -- что такое RAG-файл , LM studio(наверно ввод данных) -- каша в голове !
лучше webUI и Ollama, они шустрее. если на Linux, то размечайте диски в BTRFS файловую систему она асинхронна, не блокирует потоки при обращении к диску. При работе с Docker это топчик. а такбудет тупить как на винде, сначало сгенерит, потом обратиться к диску, а там контейнер и его заблочит и ollama тоже будет блокнута, получиться не слабый тамаут.. я тестил, азица впечатляет.😁 зачем Ollama? она по факту быстрееи лучше работает чем LLM Studio.. а webUI умеет и в загузки фалов, и в поиск, и очен много всего и обновляется очень часто! LLM Studio ламается от версии к версии, мне приходилось хранить несолько ее экземляров ибо на одной не пашет квина. на второй лама новая.. с Ollama такого нет! Это более проф инструменты, но они тожеочень просты и качественее.😁
Все верно Ollama для более профессиональных юзеров и ее так же можно прикрутить к anything llm и много чего делать в связке, а lm studio - это упрощение и все в одном месте, кому что…
Поздравляю. у меня 8.11 Однако не понравилось мне объяснение. Вроде рассказываешь ты просто, но вот почему у тебя "волшебным образом" вылезла 1 версия, а у меня другая ты объяснил. К тому же, если ты Windowsoвод, то предупреждай сразу. Зачем мне терять время и смотреть твой ролик? Либо сделай 2 ролика, это не ракету запустить на марс. Так что если ты меня как зрителя не уважаешь, то отписываюсь
Это уже попахивает каким-то БДСМ. Но я не особо его люблю. А так в следующий раз можно ожидать, что ты у меня попросишь номер карты и пин от карты, где все деньги лежат, а если не дам, то отписка 🤣😭🐮
Буквально пару дней назад разбирался с RAG и пришел точно к такой же связке. ))) Но почему-то Anything LLM не захотела увидеть данные из моего текста. Зато в Anything LLM загруженые доки образуют библиотеку, которой можно пользоваться в других диалогах. В LM Studio все работает быстрее, но нет организованной библиотеки. По крайней мере, пока. Думаю сделают скоро, так как совсем недавно в ней вообще не было возможности RAG.
Да соль в том, что нет библиотеки, докинут ли в lm studio - это вопрос, потому что у anything llm чуть другая или даже сильно другая структура. По поводу работы с файлами и вообще качеством ответов, похоже от железа тоже может зависеть результат. Это выглядит на первый взгляд странно, но похоже это так…
@@NeuroGeek1 По поводу железа - не особо странно, по крайней мере исходя из опыта, а не из теории. Та же генерация картинок на одних и тех же моделях, с одинаковыми промптами и настройками тоже дает разные результаты. Проверял лично на пяти различных конфигурациях компов.
@@NeuroGeek1 Удалил ранее загруженную ламу, после загрузки и открытия, LM не только не предложил скачать какую то модель, но даже после повторной загрузки Ламы (вне LM) в платформе LM нет никакого следа Ламы. Блин, что не так - то? Ребята, кто нибудь уже пробовал установить эту полезную приблуду на W 11?
@@almagor1000 В LM надо правильно сделать структуру подпапок в прописанной папке для хранения моделей. Должна быть подпапка с именем публикующего, например, TheBloke, в ней подпапка с названием модели, и уже в ней модель. Если скачать вне LM и просто бросить модель в папку, LM её не увидит. Сам на эти грабли наступил. Проще из LM скачать что-то, посмотреть, как она именует подпапки и сделать так же для своей ранее скачанной модели. Это Кобольд умеет модель из любого места подцеплять, LM более строгая в этом плане
Друзья, сегодня 16 Ноября у меня ДР, мне исполнилось 38. Ставьте лайки, если хотите поздравить меня с ДР, всем буду очень благодарен. 🙏
С днем рождения.
@@NeuroGeek1 успехов!
@@Финансияспасибо 👍
@@IvanLesnovблагодарю 👍
С прошедшим днем рождения тебя, желаю всего самого хорошего, лайк поставил)))
Спасибо, Андрей! Актуальная информация. Я , также, занимаюсь ассистентами и вижу в этом большую перспективу. С удовольствием буду смотреть Ваши выпуски.
Всегда пожалуйста! Перспектива бешенная, наступает время, когда при покупке ПК мы будем думать о том, как на ней будет работать локально ЛЛМ.
@@NeuroGeek1 Вы можете объяснить!! После того как закрыть терминал windows 11, какой командой ее запустить снова в терминале?
Мне лама очень понравилась. Узнала ей благодаря Вашим видео. Спасибо!
Она для узких задач, кому то нравится, кому-то, нет…
Спасибо за запись данного ролика. Было интересно и познавательно. Обязательно попробую этот инструмент
Желаю успехов 🍀
Очередной полезный ролик. Сразу, не смотря лайк👍🔥
Лучше конечно посмотреть для начала 😁😁😁
Спасибо ОГРОМНОЕ. Хорошее руководство, рабочее)
Всегда пожалуйста 😎
Все достаточно просто и понятно. Большое спасибо за видео)
Всегда пожалуйста 👍
Спасибо, Андрей! Хотелось бы видео как настроить эту локалку под поиск в интернете.
🚀СУПЕР ролик! Интересная подробная информация!
Респект автору.💖🔥🔥
Вам взаимный респект за позитив и внимание!
Спасибо большое за такой полезный ролик. В ближайшее время попробую запустить
Всегда пожалуйста, удачи 🍀
Отличный ролик! Спасибо
Всегда пожалуйста 👍
Информация была безумно полезной. Лайк, лайк и еще раз лайк👍👍👍
Спасибо за обратную связь 👍
Отличный контент, очень полезный
Согласен, без вариантов! 😁👍
Спасибо!
Лайк и подписка.
Всегда пожалуйста 👍
Народ! Подписывайтесь именно сюда. Здесь самый толковые гайды по языковым моделям. У автора явный талант доходчиво доносить информацию. Всё четко, всё по полочкам и при этом без занудства. Так держать!
Спасибо за обратную связь!
У меня получилось запустить! Спасибо!
Отлично 👍
Андрюх ты красавчик! Так держать!!! Ждем насчёт ЛМ со связкой интернет!!!
Спасибо, Илья! Возможно сделаю в одном из следующих роликов! 👍
Супер. Хочу попробовать по работе много документов приходится обрабатывать.
Попробуйте, но не ждите Мега результатов от этой модели 8b, она все еще не такая большая
Классно! Очень полезно! Благодарю! Жду следующие ролики!
Всегда пожалуйста 👍
Попробовал оба способа, скормил Ламе технические условия, достаточно объёмный и сложный документ, в формате docx и в обычном текстовом файле и попросил проверить опечатки. Специально удалил из пары слов по 1 букве, для проверки, найдёт или нет.
Импорт Docx в LM Studio похоже, работает не вполне корректно, в некоторых словах появляются лишние пробелы, такие слова Лама считает ошибками. Сокращения она тоже плохо понимает - это когда файл был прикреплён в LM-Studio напрямую.
В AnythingLLM я пробовал только с простым текстовым файлом. Там лишних срабатываний не было, но и внесённые тестовые опечатки Лама не нашла. Вместо этого прицепилась к окончанию одного слова, якобы оно неправильное.
Изучение лога сервера показало, что она весь текст не читала, выхватила небольшой фрагмент ближе к концу. Возможно, нужно токенов ей не 4096 дать, а побольше. Мои внесённые опечатки во фрагмент не попали. Но и в самом фрагменте имевшуюся опечатку Лама не нашла, я её нашёл при чтении лога сервера :)
Парсинг веб-страниц ещё не пробовал, попробую завтра.
Общее впечатление - хреново она русский язык знает. С AnythingLLM результат менее "зашумлённый" получается, но заставлять её проверять орфографию, похоже, бесполезно. Запущенный сервер подхватила сама, без вписывания URL, сервер я запустил заранее.
Надо будет ещё попробовать с другой моделью, например, с Mistral
Спасибо за тутор, с AnythingLLM самостоятельно разобраться не получилось, а по тутору документ подхватился
Интересный опыт. Похоже еще есть связь между железом и ответами. На более мощном, она думает лучше и не выдает ответы на Английском. Ну и квантизация тоже может решать одна и та же модель 8b с разной квантизацией может работать сильно по разному!
@@NeuroGeek1 Квантизация однозначно влияет. И ещё, варианты одной и той же модели от разных "сборщиков" вообще ведут себя по-разному. Meta-Llama-3.1-8B-Instruct-GGUF от LM Studio Community, Meta-Llama-3.1-8B-Instruct-Q4_K_M от Bartowski и Lexi-Llama-3-8B-Uncensored_Q4_K_M от Orenguteng на одни и те же вопросы давали вообще разные ответы.
Оооо, обязательно попробую)
Успехов 👍🍀
Рахмет!😊
Әрқашан, мархабат 😉
Годно. Продолжай.
Спасибо 👍
Четко!
Однозначно 👌
Такие прикольные нейро вставки на протяжении всего ролика очень веселили)
Спасибо за обратную связь 👍
Мне простой способ подошел. Я полностью довольна
Огонь 🔥
Завоз ❤
Спасибо 👍
Спасибо за инфу, похоже, то что искал, не читал пока всю ветку коментов. Спрошу упрощенно, есть 3 учебника с фото и текстами и схемами, получится у меня таким методом закинуть их в Ламу для быстрого общения с ними и вытяжки нужной инфы быстро а также потом сравнивать фото и графиков (поясняю) кидаю в ламу фото и спрашиваю какому диагнозу соответствует? лама ищет ответ в базе книг закинутых туда ранее и дает ответ по текущей фото (вопросу)???
Вопрос в размерах файлов, пробуйте , может переварит, может нет.
а какого размера и количества файлов одновременно можно работать? можно ли целую документацию на 20 документов подгрузить в anythingllm ?
Подскажите, что такое RAG файл?
Файл базы знаний
Потрясающий ролик, обалденное качество и монтаж! Подскажите, на что снимаете и где монтируете?
Камера APC Sony FX-30 с родным объективном G 20мм, сразу по USB-C в память макбука и потом монтаж в iMovie и Final Cut
Отличная инфа ! У меня наивный вопрос. Ручная настройка рагов ч\з кодинг с указанием кол-ва токенов - умирает ?
Все ручное потихоньку умирает 😁😭, скоро ИИ сам все за нас будет настраивать… Или может даже и спрашивать нас не будет? 👀
Может есть решение как в WebUI поменять голос? И Вы запишите видео? С ним можно вести полноценные диалоги, как с GPT-О
по моему вполне очевидно, что простая маленькая нейронка работающая на простом компьютере не может сравниться с одной из самых продвинутых нейронок на сегодняшний день, которая работает на суперкомпьютере...
Логично
есть решение через LM Studio, но придется писать код... Но вопрос стоит ли это всех усилий...
Если ллм не владеет инфой она просто идёт искать в интернете. Я поставил mixtral без цензуры и она перешла на мой сайт и смогла вытянуть инфу оттуда
Огонь!
Спасибо большое! давно искал нечто подобное. А подскажите пожалуста на Вин11 в какую именно папку applications и где нужно забрасывать Anything LLM? спасибо
На винде не надо, это только на маке такая папка, на винде должно быть проще, установил и пользуешься.
@@NeuroGeek1 СПАСИБО
а можно ли указать папку на компьютере, в которой лежат файлы (например Markdown-файлы), и чтобы нейронка из них брала информацию? то есть состав файлов меняется, а LLM это учитывает каждый раз
О! А как же подключить интернет? Я GPT 4 использую только дял поиска в интернете.
Можно в Anything LLM заставить искать в интернете
Как в LMStudio увеличить количество используемых ядер CPU, больше 18?
Вчера вышел новый ролик на канале про lm studio, там как раз показываю где крутить настройки с ядрами CPU и GPU…
@@NeuroGeek1 посмотрел, лайкнул. То что в настройках можно ползунок двигать я в курсе, там лимит на 18 ядер, а у меня 36 ядер 72 потока. Вопрос был как лимит можно подкрутить, может есть команды какие?
Здравствуйте! Не подскажите, а возможно ли как переключить задачи генерации ответов с GPU на CPU?
У меня на приложении для мака можно , это находится в настройках, там где выбор модели сверху, там должны быть ползунки по загрузке системы
Автор здравствуй, а в моём случае в какую папку закидывать на виндовс?
Там где не случится перегруза и самая быстрая память, чем быстрее память, тем лучше будет работать.
Будет ли это работать если документ отсканированный ? (Не распознанный как текст ?)
Модель маленькая и без vision-функций. Возможно c 11b будет работать, как раз ее закачал и тестирую…
Возможно ли упаковать этого бота в docker compose из микросервисов для RAG?
Здравствуйте! Установил LM Studio, но когда получаю ответ, с русским языком какие-то проблемы, присутствуют английские слова, то иероглифы. Как это можно исправить? Вот пример: "Assistant Llama-3.2-3B-Instruct-4bit
Погода в Москве сейчасquite cloudsaya и rainshnay. Температура around 15°C (59°F) и bit vindy.
Как вы ktoblete?
22.73 tok/sec • 39 tokens • 0.47s to first token •Stop: eosFound"
С русским не иногда глючит, надеюсь в ближайшее время они добавят лучшее понимание русского. Но пока Английский в приоритете, к сожалению…
Вышла новая Llama прощай chatGPT!!!
Llama: "Как вы ktoblete?"
Хорошо бы добавить папку со своим программным проектом , а Anything LLM автоматически обновляла инфу для LM Studio. А так получается через 2-5 часов работы информация становится не актуальна, необходимо заново токенизировать проект.
Все программы обновляются регулярно и LM Studio и Anything LLM, поэтому возможно докинут, а возможно вообще изменят интерфейс и все будет работать по другому, динамика изменений очень большая...
@@NeuroGeek1 Верим, надеемся и любим
@@JohnSmith-z9m
Так а как перекомпилировать модель с учетом изменений?
Смотря каких…
А можно объяснить зачем LM Studio, если в Anything LLM точно так же можно скачать локально модель LLama и общаться?
В Anything LLM нельзя установить нейросеть, как в LM Studio. Там другой интерфейс, обязательно нужна связка или с LM Studio или с Ollama или OpenAI по API
@@NeuroGeek1 зачем вы удаляете мои ответы? Разберитесь в программах о которых делаете материалы. В Anything LMM можно и скачать и установить любую нейронку из кучи представленных - выбираете, автоматом качается и подключается. Только обучаться на приатаченных ссылках или локальных материалах она не будет. Надеюсь пока.
Подскажите, какой компьютер подойдет для этой нейросети? С какими параметрами?
Если Мак, то M1 с 16Гб объединений памяти и выше. Если на винде, то тоже нужна оперативная память от 8Гб, лучше 16Гб и видеокарту от 8гб VRAM
У меня нет вариантов скачивания моделей в lm studio, просто пустая оболочка. Вручную если указать модели на диске, он их не видет. Что за чушь?
Вероятно железо слабое или дров нет подходящих
А как сделать так чтобы она умела генерировать картинки по запросу?
Это отдельная песня, как нибудь сделаю про это видео
Спасибо! Попробовал загрузить сайт Suno и попросил модель составить простой промт - русский рок, мужской вокал . Результат обескураживает в плохом смысле. Ответ на конкретные вопросы не модель не дает. Напоминает расплывчатый и ниочем ответ юристов на моей прошлой работе.
А картинки в PDF-файлах читает?
С vision-функцией Llama 3.2 11b, ее недавно завезли на ollamy, надо тестить какое железо под нее нужно, но явно намного мощнее чем под llama 3.1 8b
@ Mac book air M3
У меня :
1 вообще ничего не показывает для загрузки
2 когда я ручками скачал ламу - не запускает ее ни с какими параметрами
Может железо не тянет?
@burdinAI ну по второму пункту я многое допускаю, может кртво скачал... у меня скорее по первому... почему не ищет и не предлагает скачивать... как будто интернета нет... хотя никаких фаерволов и т.п. у меня не стоит....
Странно…
@burdinAI ничего страшного. Взял из предыдущего видел ollama и связал ее с python. Сижу балуюсь. При помощи иных gpt пишу код работы ollama - кароче кайф. Очень рад что нашел этот клад - канал!!!!
AnyLLM требует регистрацию а как офлайн то сделать ?
Регистрацию надо онлайн делать, так же как коммент чтобы писать на ютубе , тоже нужно онлайн 😁
@ прога будет эта работать оффлайн ? В ролике шла речь про дообучении на критичных данный, а тут онлайн регистрация…
Получится загрузить документ/ы Word, который состоит из 2000 страниц, и обсудить вопросы, связанные с ним?
Можно попробовать разбить на несколько файлов, но не факт что столько проглотит, надо тестировать.
@burdinAI благодарю
Расскажи лучше как научить ламу говорить человеческим голосом.
Не самая простая тема, чтобы это сделать придется писать код...
Первый раз тебя увидел и llama заинтересовала, выбрал плейлист и сразу ничего не понятно -- что такое RAG-файл , LM studio(наверно ввод данных) -- каша в голове !
Смотри больше роликов и все поймешь 😉
@@NeuroGeek1 Спасибо за контакт ! К людям , поддерживающим контакт больше тяги !
лучше webUI и Ollama, они шустрее. если на Linux, то размечайте диски в BTRFS файловую систему она асинхронна, не блокирует потоки при обращении к диску. При работе с Docker это топчик. а такбудет тупить как на винде, сначало сгенерит, потом обратиться к диску, а там контейнер и его заблочит и ollama тоже будет блокнута, получиться не слабый тамаут.. я тестил, азица впечатляет.😁
зачем Ollama? она по факту быстрееи лучше работает чем LLM Studio.. а webUI умеет и в загузки фалов, и в поиск, и очен много всего и обновляется очень часто! LLM Studio ламается от версии к версии, мне приходилось хранить несолько ее экземляров ибо на одной не пашет квина. на второй лама новая.. с Ollama такого нет! Это более проф инструменты, но они тожеочень просты и качественее.😁
Все верно Ollama для более профессиональных юзеров и ее так же можно прикрутить к anything llm и много чего делать в связке, а lm studio - это упрощение и все в одном месте, кому что…
Второй способ - фигня. Я загрузил простой текстовый файл и она не смогла его считать
Значит файл кривой
@ я специально создал новый пустой файл. Написал пару строк в него и положил на рабочий стол. Файл нормальный. Попробуй сам)
Вот только если использовать API и подгружать файл через скрепку, то никто ничего не распознает...
Через скрепку в LM Studio проще грузить…
Жаль только что 405 обывателю запустить - утопия, а следовательно почти бесполезно все.
Ps комментов у видос трушных прям куча 😂😂😂
Все комменты подставные, и вообще канал фейк! 😁😭 Возможно сделаю видео, как запустить 405 через облако, но это не будет бесплатно…
Поздравляю. у меня 8.11 Однако не понравилось мне объяснение. Вроде рассказываешь ты просто, но вот почему у тебя "волшебным образом" вылезла 1 версия, а у меня другая ты объяснил. К тому же, если ты Windowsoвод, то предупреждай сразу. Зачем мне терять время и смотреть твой ролик? Либо сделай 2 ролика, это не ракету запустить на марс. Так что если ты меня как зрителя не уважаешь, то отписываюсь
Это уже попахивает каким-то БДСМ. Но я не особо его люблю. А так в следующий раз можно ожидать, что ты у меня попросишь номер карты и пин от карты, где все деньги лежат, а если не дам, то отписка 🤣😭🐮
@@NeuroGeek1 Ты можешь ерничать, но это ты ищешь моего внимания как зрителя выпуская ролики, а не я твоего.
Юмор уровень Петросян)), но смешно)
😭🤣 Петросяном меня еще ни кто не называл +500 скилов к навыку «юморист года» 🤣
😁
Какой нафиг гик? Если ты путаешь мегабайты с мегабитами? 😂
Главное не путать хрен с трамвайной ручкой 😨
Монтаж кринж конечно))
Однозначно!
Буквально пару дней назад разбирался с RAG и пришел точно к такой же связке. ))) Но почему-то Anything LLM не захотела увидеть данные из моего текста. Зато в Anything LLM загруженые доки образуют библиотеку, которой можно пользоваться в других диалогах. В LM Studio все работает быстрее, но нет организованной библиотеки. По крайней мере, пока. Думаю сделают скоро, так как совсем недавно в ней вообще не было возможности RAG.
Да соль в том, что нет библиотеки, докинут ли в lm studio - это вопрос, потому что у anything llm чуть другая или даже сильно другая структура. По поводу работы с файлами и вообще качеством ответов, похоже от железа тоже может зависеть результат. Это выглядит на первый взгляд странно, но похоже это так…
@@NeuroGeek1 По поводу железа - не особо странно, по крайней мере исходя из опыта, а не из теории. Та же генерация картинок на одних и тех же моделях, с одинаковыми промптами и настройками тоже дает разные результаты. Проверял лично на пяти различных конфигурациях компов.
А если llama 3.1 8B, ранее была уже уже загружена? Ее все-таки сначала удалить с компа, а затем снова загружать, как показано здесь, в ролике?
Если грузили с ollama через терминал, то удаляйте и грузите через LM Studio, все будет намного проще.
@@NeuroGeek1 Удалил ранее загруженную ламу, после загрузки и открытия, LM не только не предложил скачать какую то модель, но даже после повторной загрузки Ламы (вне LM) в платформе LM нет никакого следа Ламы. Блин, что не так - то? Ребята, кто нибудь уже пробовал установить эту полезную приблуду на W 11?
@@almagor1000 В LM надо правильно сделать структуру подпапок в прописанной папке для хранения моделей. Должна быть подпапка с именем публикующего, например, TheBloke, в ней подпапка с названием модели, и уже в ней модель. Если скачать вне LM и просто бросить модель в папку, LM её не увидит. Сам на эти грабли наступил. Проще из LM скачать что-то, посмотреть, как она именует подпапки и сделать так же для своей ранее скачанной модели.
Это Кобольд умеет модель из любого места подцеплять, LM более строгая в этом плане
Какие системные требования для всего этого?
Там есть много моделей ЛЛМ для загрузки. Но если 8b, то нужно минимум 8Гб RAM и чтобы модель влезла в память GPU. Но в идеале, чтобы было от 16Гб RAM
@@NeuroGeek1 Спасибо.
Адрес именно сервиса а не сервера, так что всё правильно
👍