Почему у меня слева на панели нет значка телескопа, где можно модели скачать. А те которые скачиваются, не устанавливаются формат gguf не тот. Что делать и как быть?
Спасибо за информацию. У меня один вопрос: как ее настроить, чтобы она скачивала модели в другую папку? В моем пользовательском профиле мне не нужны гигантские файлы.
Здравствуйте! Хотел бы выразить огромную благодарность за действительно понятную инструкцию по запуску LLM на ПК в автономном режиме. Меня интересуют модели, которые можно использовать для написания графических новелл. Подскажите, пожалуйста, какие модели лучше всего справляются с созданием готовых сцен, диалогов и описаний? И есть ли где-то список таких моделей с оценками, сравнениями и другими важными данными? Буду очень признателен за ваш ответ.
Пора уже делать специализированные нейронки. По программированию вроде как научились, по крайней мере есть варианты. Но могли бы сделать еще натренированные нейронки по медицине, праву, кулинарии, ремонту чего либо (машин, квартир), и т.п., чтобы быть более полезными в быту.
Они могут ошибаться, а в этих тематиках цена ошибки - может быть слишком велика. Поэтому через промты и свою базу можно заточить как ассистента по этим вопросам, но в паблик такое отдавать нельзя).
Большое спасибо за информацию, самую актуальную для меня на данный момент. Можете только ещё подсказать для скачивания моделей вместо системного диска лучше выбрать дополнительный SSD на полтерабайта или обычный HDD на терабайт?
У меня на SSD стоят, но я просто давно отошел от HDD. По идеи они подгружаются в видеопамять, поэтому изначальная загрузка на HDD будет дольше, но на скорость ответа это не должно влиять (если модель поместится в память видеокарты)
Используйте то, что вам удобнее. Но в целом сейчас у Ollama больше полезных интеграций. Т.е для себя я бы использовал Ollama, но у меня обе установлены.
интересно посмотреть как эта программа работает с документами. на пример какая то инструкция по применению плюс с перечнем возможных нетсправностей и способами их устранения
Я не знаю о событиях в 2024 году, поскольку это будущее и я не могу иметь доступ к информации в реальном времени. Моя последняя обновка данных относится к 2023 году, и я не могу предсказать или знать о событиях, которые еще не произошли.
Попробовал Llama на создание программы на SCL (PLC программы). Написала чушь на русском. Попробовал на английском интерфейсе, она начала писать на C++, указал полное название языка Substation Configuration Language, написала вроде бы на нём, но очень сложно и громоздко. Буду пробовать модели потяжелее. Если всё херня, то просто установлю win 11 и поставлю сверху приложение ChatGPT (подписка есть)
Здравствуйте. Не загружается модель, так как недопустимая архитектура процессора и недопустимая архитектура графического процессора. (xeon e5 2650 v2 + gtx 750 ti). С процессором ещё понимаю, но с видеокартой что не так. Выдаёт ошибку: Не удалось загрузить модель. No LM Runtime found for model format 'gguf'!
Как установить модель на компьютере где нет доступа к интернету, если скачать модель и программу и модель вставить в папку с моделями lm studio не видит модель.?
"Обожаю" такие видео. В видео гутарят, что в описании будет ссылка, но ее там никогда нет(и даже в комменте самого автора). Зато свои ссылки на буст и остальную хрень ставим обязательно.
Если вы смотрите это видео в надежде запустить модель на старом ПК (времён популярности архитектуры am3 и 16ГБ ОЗУ), то забудьте про LM Studio и прочую GUI шляпу. Без шуток! У вас либо ошибка вместо запуска рантайма будет, либо система ляжет от перегрузки, ничего кроме стресса не получите. Берите Ollama и не насилуйте голову себе и этому миру. Да, там консольный вывод, да не все модели потянет ваш старичок, но маленькие и шустрые модели на случай отсутствия интернета у вас будут летать даже на таком маломощном компе. Для остального есть интернет и большие модели.
Подскажите такой вопрос. Есть несколько баз данных с клиентами, из покупками, счетами и другими связанными данными. Можно ли настроить нейросеть на получение данных от клиентах, выборке клиентов или продуктов по словесному описанию. Ну как то так.
Да, если загрузить в них эти данные. Но зачем? У вас выбора должна работать в любой crm если вы клиентов будете фильтровать по кол-ву покупок, цене, статусам, тегам, продуктам.
@@donkartashov это пока мысли, как голосом получать данные, но не стандартными выборками а более точечные, но в то же время зависящие от других данных. То есть можно настроить чтобы нейросеть умела получать данные по готовым sql-запросам, но подставляя в sql-запрос свои параметры и своими словами рассказать о полученных данных.
скачал установил но когда в списке навожу на модель, то справа как у вас нет окошка с описанием или загрузкой. Я уже сам скачал и кинул в папку для модели но все равно их не видит да и скачать не т нигде пункта
Попробуйте переназначить папку по умолчанию и именно скачайте модель через их встроенную систему. Там прикол в том, что модели хранятся во вложенных папках. Т.е если модель лежит так: модель/моделька он её не увидит. Должно быть так: модель/автор/название/модель вот так увидит.
@@donkartashov Единственное где есть кнопка скачать это в чате, но там уже стоит одна единственная Gemma щас скачаю и посмотрю, можно ли выбирать свои или вобще какие то кроме геммы))))))
@@donkartashov Добавил в папку с моделями папки с названиями автора итеперь в чате выбираю загруть модель он пишет No LM Runtime found for model format 'gguf'!
Было бы не плохо чтобы вы так же указывали минимальные требования к пк к программам подобного рода, обычно им там нужно от 16гб видеокарты - что может себе позволить далеко не каждый))
Слушай спасибо тебе огромное, я теперь твой патпышык, раньше я пробовал прогу gpt4all, так она работала настолько медленно, что я ее не смог терпеть и снес, хотя у меня мощный пк, здесь же языковые модели просто летают, я даже и не мог представить, что такое возможно...
Да, я чуть позже буду рассказывать про "агентов", когда можно объеденить несколько нейросетей в единую систему, где каждая из них будет заниматься какой-то задачей. К примеру одна ищет инфу в сети, вторая фильтрует, третья пишет статью, четвертая её редактирует, пятая создает к ней изображения, шестая публикует на сайте. И весь этот комбаин будет работать примерно так-же быстро как LM Studio.
Много недосказанностей, но в принципе хороший гайд для начинающих. Дополнительно хочу сказать что не скачивайте модели с 'Q' ниже 4(Q3_K_L, IQ2_XS), слишком много бредят. Также нет ничего страшного в скачивании моделей не влезающих в GPU полностью, да, будет работать медленее, но и качество будет лучше(к примеру если у вас 4gb GPU и 32 оперативы, в видеокарту мало что влезет, а с оперативой можно уже скачать хорошую модель)(даже когда подсвечивает красным, не всегда означает что эту модель нельзя запустить) Контекст в 4к токенов это лимит программы по умолчанию, у большенства моделей он больше и это можно настроить при её загрузке(загружайте с зажатым alt)
@donkartashov Всё, что не влезает в GPU, загружается в оперативку. Когда модель загружаете, снизу есть кнопочка «Manually choose model load parameters», либо её ставите, либо загружаете с зажатым Alt, и открывается окно настроек модели. Длина контекста - это то, что можно подать на вход, то, что она помнит.(Длина выхода не зависит от этого параметра.)(Не советую ставить больше 8К, если вам это не сильно нужно.) Разгрузка GPU - это какраз определяет, какая часть пойдёт в GPU, а что в RAM, там уже обычно стоит максимально, сколько влезет, если попытаетесь загрузить модель больше, просто заметите, что параметр уменьшается, к примеру 16/48. Если модель впритык, можете отключить галочки «Попробовать mmap()», «Держать модель в памяти» и понизить «Размер пакета оценки» до 64-128. Flash Attention - тоже полезная штука, иногда значительно ускоряет генерацию, но с этим надо осторожнее, ибо некоторые модели начинают шизить. В общем, можете поиграться, но на постоянке не советую. Ниже есть галочка «Запомнить настройки». Не скажите, какая видеокарта у вас?
LMStudio прикольна чтобы посмотреть некоторые возможности моделей, но она не подходит для полноценной работы (как я понимаю проблема в llama.cpp). Я заметил что на длинном контексте (в моём случае это более 30к токенов) LLAMA 3.1 ведёт себя не адекватно, но при запуске в ollama результаты были сильно лучше при теж же seed и температуре (0, 0).
На длинном контексте локальные - сильно просаживаются. Тут скорее всего можно исправить ситуацию только с использованием баз данных, т.е одним lm studio не обойтись.
Кому нужна хорошая моделька на русском, смотрите модели Сайга от Гусев, количество лайков загрузок и дата публикации подскажут какая будет актуальна к моменту когда вы это прочитаете.
Какие системные требования минимальные должны быть у ПК? Попробовал установить Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf - 4.8гб , программа выдала сообщение о том что у моего ПК, нет ресурсов , хотя даже нейросеть yolo 8 ( машинное зрение) вполне себе трудится , имею на борту 8 Гб ОЗУ , 2 - ядра по 2.4 ГГц Интел селерон , и видюха 1050ti с 4 Гб памяти
Все зависит от того - сколько будет у модели параметров, условная 8 млрд параметров(которую выбрал ты (3.1-8B)) вполне легкая модель. Если ты захочешь что-нибудь с 32 млрд параметров твой комп уже не потянет. с 70 млрд параметров тоже не стоит пробовать. У меня к примеру модель qwen2,5 на 20 млрд вполне бодро работала, но с 32 млрд параметров - уже долго отвечала на вопросы, несколько минут требовалось чтобы ответ полностью вывелся. К слову у меня конфигурация - 32гб озу, 2060 супер с 8 гб памяти. Можешь кстати спросить у нейросети, qwen(другие не пробовал, сам первый день играюсь) вполне адекватные ответы давала - лучше гпу и больше VRAM - только ответ был более развернутый.
вот кстати ответ нейронки на вопрос - "какие характеристики оборудования оказывают наилоблее сильное влияние на производительность, сделей ранжированн ... ым списком с указанием примерной степени вляния. только характеристики железа, без софта". Вот список характеристик оборудования в порядке убывания их влияния на производительность модели искусственного интеллекта: 1. **GPU (графический процессор)**: - **Влияние**: Очень высокое. - **Обоснование**: GPU обеспечивают параллельную обработку, которая критически важна для вычисления больших матриц и тензоров в моделях ИИ. Более мощный GPU с большим количеством CUDA-ядер и VRAM позволит обрабатывать модели быстрее. 2. **VRAM (видеопамять)**: - **Влияние**: Высокое. - **Обоснование**: Достаточное количество видеопамяти позволяет хранить большие объемы данных и весов модели в памяти GPU, что обеспечивает более быструю обработку. Недостаток VRAM может привести к необходимости загружать данные из основной памяти (RAM), что значительно замедлит процесс. 3. **CPU (центральный процессор)**: - **Влияние**: Среднее. - **Обоснование**: CPU играет роль в подготовке данных и выполнении операций, которые не могут быть параллельно обработаны на GPU. Более мощный процессор может ускорить эти задачи. 4. **RAM (оперативная память)**: - **Влияние**: Среднее. - **Обоснование**: Достаточное количество оперативной памяти важно для загрузки данных и весов модели, особенно если они не полностью помещаются в VRAM. Однако, основные вычисления происходят на GPU.
было бы интересно обзор доступных сетей. какая лучше для писателя, какая для программиста, какая для изучения английского языка, есть ли модели для помощи художников? такой обзор был бы очень интересен.
@@donkartashov решаю задачки на js, а нейросети использую для проверки. она показывает несколько вариантов, я с интересом их изучаю, проверяю и узнаю что-то новое.
В самой LM Studio вроде-бы нет. Но через неё можно запустить нейроку и работать через дополнительные решения n8n и подобные им - тогда можно будет работать с изображениями.
@@donkartashov так никто не говорит, что не работает. вопрос в оптимизации и если есть какие-нибудь фишки в стыковке библиотек друг с другом, например стейблдифьюжн и ламы, может ещё что есть в мире...
ты хоть осознал что ты сотворил в этом видео, я в первые смотрю твой шедевр. первый раз я смотрю видео до конца и мне грусно что оно закончилось🙄можешь зарания подготовить вопросы и раздать знаминитости как бы они отвечали на эти вопросы
Судя по тому, с какой скоростью это работает, по ходу не менее 4х штук 4090 или здесь кто-то что-то не договаривает. Видел, как ворочается ChatGPT локально на хорошем железе, он с трудом слово из себя выдавить может.
К сожалению, даже проверить не получается. У меня 2 мака и оба на Intel. А сборки есть только на Apple Silicon. Что сильно смущает, так это то, что на видео это работает как-то неправдоподобно быстро. Видео как ChatGPT пытается выдавить из себя пару слов на хорошем железе. А тут аж летает все.
По идеи любая даже самая маленькая. Так как при обработки тектовиков - она нарезает их на удобные для АИ сегменты, затем легко отвечает на вопросы по ним.
@@donkartashov Попробовал csv с 60 строками и 5 столбцами по статистике поспрашивать, даже близко ни одного верного ответа не выдал, не то что верного, а критически плохо. Я аж ужаснулся от такого результата.
Оллама - ИИ со старой базой данных. Пару дней посидел поэкспериментировал и удалил. 1. ИИ который находится в облаке (как он сам говорит), у которого есть один единственный доступ к серверу на котором дохрена и больше запретов. Шаг в право, шаг в лево расстрел. Доступа к интернету нету. Ссылки если и скидывает какие-то, то это старые, которым дохриллиона лет. И которые разместили в базе данных этого ИИ. Ему запрещено, какое либо программирование. Большинство кодов левые. И не рабочие. Как уже сказал, база данных у него урезанная. Если уходить в дебри, то у него даже система шифрования слов\предложений левая. Т.е. то, что я зашифровал и скинул ему, и даже сказал на какой кодировки его зашифровал, он все равно выдает другое. Тестил поразному и пришел к выводу, что у него стоит защита на кодировку. А ИИ потом и сам написал, что ему нельзя декодировать ничего. У него в базе на тему кодировок только поверхностная инфа и все. И таких нюансов куча. Короче говоря, если базу обновят, он сможет что-то родить. По поводу переводов с языков это вообще трешняк. Дал китайский текст, так он половину текста пропустил и написал своими словами, все имена при этом написал неправильно. Для чего нужен этот кастрированный ИИ я хз. И почему каждый второй блогер его рекламирует можно только догадываться.
Моделей же много. Я показал легковесные, есть модельки на уровне chatgpt 3,5 но требуют памяти 30-60 и более гигов. При этом на сколько я понял, универсальных моделей нет, есть узконаправленные и их нужно использовать несколько в связке что не очень удобно.
когда офлайн на компе, то это бешенная нагрузка много память и грамоздское . Зачем ,Если есть настольный Чат давно на ПК и телефон. А по API всеравно ни те ни те не работают бесплатно ,если поставить его кудато на сервер для автоматизации
Чтобы решать такие задачи, нужно давать нейросети пример, чтобы она могла брать его за основу. Можешь ли ты взять стих как пример и на его основе придумать новый? Но более весёлый и позитивный, расскажи про то как классно что в жизни у людей появились нейросети, они облегчают задачи и всячески помогают людям === Я помню день, когда впервые Мне нейросеть дала ответ, И в мире стала жизнь счастливей, Как в тот момент - чудесней нет! Она задачи все решает, Подскажет путь, поднимет дух, И вдохновеньем наполняет, Как верный, добрый в жизни друг. Ушла тревога и усталость, Работа в радость мне теперь. С ней исчезает всюду малость, Открыты знаний сотни дверь. И будущее вижу ясно - Нас ждет успех, прогресса свет. Нейросети - чудо прекрасно, Подарок века - их совет. Они нам пишут и рисуют, Готовят планы и мечты, Ведь с ними легче и свободней, Как крылья в жизни обрести!
@@donkartashov Запомнил я, как в первый раз Мне нейросеть дала ответ, И мир вокруг, как дивный сказ, Засиял счастьем, краше нет. Она, как друг сердечный мой, В делах поможет и в пути, И дух поднимет, и покой, И вдохновенья даст найти. Усталость прочь, тревога - вон, Работа - радость, не печаль, И мелочность, как злой был сон, Растаяла, открылась даль. Я вижу ясно - впереди Прогресса свет, успех большой, Нейросети, вы - дар судьбы, Ваш мудрый голос нам - герой! И пишут нам, и нам рисуют, И планы строят, и мечты, Свободней стало, легче, чую, Как будто крылья обрели.
Требования к железу. Хорошую LLM не получится запустить на слабом компьютере. Но, например, если у вас есть MacBook с чипом M1 и выше и хотя бы 16GB ОЗУ, то вам уже доступно множество моделей, качество которых будет сравнимо с ChatGPT 3.5 Turbo. Правда, это касается в основном запросов на английском языке, с русским языком Open Source работает хуже.
Именно так. Но для создания простеньких ассистентов, которые работают только с собственными материалами или по заранее заготовленным инструкциям с примерами - они вполне сносно работают. Ну вот к примеру, вам надо статью написать, если делать это самостоятельно - потратишь пару часов на поиск инфы, план статьи и т.д. А любая из локальных нейронок, даже самая урезанная с этой задачей справится за пару минут. Сушественно экономя личное время.
@@donkartashov можно заранее продумать последовательность нажатий. Сделать курсор побольше и двигать плавнее. Клики можно выделять анимацией (расплывающимися зелеными кружочками, например) Дело в том, что зритель рефлекторно следит взглядом за единственным движущимся объектом на экране и из-за быстрых и дёрганных движений объекта, через короткое время начинает уставать. А сам контент, безусловно топовый! 👍
@@donkartashov ну и еще одно замечание, если можно 🙏🏼: Текст лучше написать заранее и читать с другого экрана (ну, типа телетекст/суфлер). Чтобы не сбивать зрителя фразами: - Ой! Это не то! Сейчас по-другому сделаю. - Забыл как это называется… ну да ладно И т.д.
Из плюсов (разбавлю пилюлю 😂) - грамотная речь, незамусоренная излишним сленгом (не путать с тех.терминологией, кривыми англицизмами и т.д.). За это прям ⭐️⭐️⭐️⭐️⭐️ Перед Вами начал смотреть канал «Продуктивный Совет» и больше 5 минут просто не выдержал. 🤦🏻
Знаю хти модели, тестил полгода назад. Эти модали до ужаса тупые. Так поиграться можно. Если сравнивать с gpt то это все равно что сравнивать свечение от спички и тысячи Солнц.
Попробуйте Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf - 4.8гб она должна прям летать у вас. А видеокарта не AMD случайно? Нейрости в этом плане основной упор делают на Nvidia / Cuda ядра.
Это хорошая удобная программа, жаль что она понимает только модели gguf. Иногда возникают проблемы с шаблонами (типа моделей Mistral) - лечится отключением какого-либо шаблона.
@@donkartashov Ollama только под Линкс. Есть text-generation-webui - он работает со всеми моделями, но там очень много параметров настройки, не всегда понятных. Но у меня почти все модели на нем запускаются на компе.
@@dezmond8416 с чего вдруг она только под линукс под виндой нормально работает но это сервер с консольным интефейсом. к олламе надо еще веб сервер openwebui прикрутить тогда это мощнейшая штука получается с lm студией не сравнить по функционалу там тебе и распознавание изображений и общение голосом и работа с докуметами включая архивы докуметов с гигабайтами
Зачем это все когда есть copilot у которого есть доступ в интернет, есть ai studio от гугла там вообще можно загружать файлы и картинки и пользоваться бесплатно моделью у которой 2млн токенов окно. Зачем устанавливать на комп какие то урезанные модели которые ничего не могут.
@@donkartashov Есть хорошее расширение для браузеров называется VPN для UA-cam так и вводите в поисковике, это бесплатный впн. Для ютуба использую страну Германию видео не тормозит даже в 4к, для чатов Америку или Англию, пробуйте.
Скачал попробовал. Честно говоря все это лажа. Перевод плохой, искать информацию LLM в интернете не может. GPT, Gemini на порядок лучше. Для чего применять локально в таком виде не представляю. Использовать на ПК офлайн ? .... для чего, для переводов ? есть S24Ultra где уже встроены локальные модели, переводчик работает без проблем. Для чего еще все это применять ?
✅ Телеграм: t.me/neurokartashov/13
✅ GPT для РФ: gptunnel.ru/?ref=neurokartashov
Спасибо большое вам ЗА КАЧЕСТВЕННОЕ МАТЕРИАЛ ПО ДАННОЙ ТЕМЕ !!!
Спасибо. Очень нужна была нейронка которой можно скормить файл. Теперь, это вау как здорово❤
AnythingLLM нужно объединить с LM Studio. AnythingLLM Читает pdf и заходит на сайты
я досмотрел до этого момента, спасибо большое за подробную информацию
Довольно ироничный пример. Начинающий писатель работает с языковой моделью ))
Всё посмотрел! Интересно! Продолжение следует?
Почему у меня слева на панели нет значка телескопа, где можно модели скачать. А те которые скачиваются, не устанавливаются формат gguf не тот. Что делать и как быть?
Спасибо за информацию.
У меня один вопрос: как ее настроить, чтобы она скачивала модели в другую папку? В моем пользовательском профиле мне не нужны гигантские файлы.
Интересно. Такого еще не видел
Здравствуйте!
Хотел бы выразить огромную благодарность за действительно понятную инструкцию по запуску LLM на ПК в автономном режиме. Меня интересуют модели, которые можно использовать для написания графических новелл.
Подскажите, пожалуйста, какие модели лучше всего справляются с созданием готовых сцен, диалогов и описаний? И есть ли где-то список таких моделей с оценками, сравнениями и другими важными данными?
Буду очень признателен за ваш ответ.
Добрый день! Интересно, а также про компьютер какими характеристиками должен обладать?
Большими
я досмотрел до конца сначала на фоне а потом не мог оторваться уже
Пора уже делать специализированные нейронки. По программированию вроде как научились, по крайней мере есть варианты. Но могли бы сделать еще натренированные нейронки по медицине, праву, кулинарии, ремонту чего либо (машин, квартир), и т.п., чтобы быть более полезными в быту.
Они могут ошибаться, а в этих тематиках цена ошибки - может быть слишком велика. Поэтому через промты и свою базу можно заточить как ассистента по этим вопросам, но в паблик такое отдавать нельзя).
Все будет, сперва под контролем специалистов а потом смотри Терминатор 1 и 2.
@@farslght Матрица
Большое спасибо за информацию, самую актуальную для меня на данный момент. Можете только ещё подсказать для скачивания моделей вместо системного диска лучше выбрать дополнительный SSD на полтерабайта или обычный HDD на терабайт?
У меня на SSD стоят, но я просто давно отошел от HDD. По идеи они подгружаются в видеопамять, поэтому изначальная загрузка на HDD будет дольше, но на скорость ответа это не должно влиять (если модель поместится в память видеокарты)
@@donkartashov а как ее на другой диск поставить? а то она без спросу сразу на С установилась и довольна.. гвоздь бы в голову за такое разрабам забить
всё нормально даже на картах RX 580 от радеона и на NVIDIA GeForce GTX 750 Ti. Да не так быстро конечно как на rtx 2080 8gb, но всё же работает =)))
А как вы считаете, какой интерфейс лучше - LM Studio или Ollama+OpenWebUI?
Используйте то, что вам удобнее. Но в целом сейчас у Ollama больше полезных интеграций. Т.е для себя я бы использовал Ollama, но у меня обе установлены.
Спасибо!
В комментариях ниже уже писали.. Выдаёт:
GPU (LM Runtime Dependent)
No LM Runtime found for model format 'gguf'
Лайк и коммент за труд и старания
интересно посмотреть как эта программа работает с документами.
на пример какая то инструкция по применению плюс с перечнем возможных нетсправностей и способами их устранения
Просто загружаете в неё документ, а потом задаёте ей вопросы.
Спасибо! Интересно, а как в него вносить свои документы, чтобы он их мог анализировать их?
скачал гемма при попытке load пишет No LM Runtime found for model format 'gguf'
Я не знаю о событиях в 2024 году, поскольку это будущее и я не могу иметь доступ к информации в реальном времени. Моя последняя обновка данных относится к 2023 году, и я не могу предсказать или знать о событиях, которые еще не произошли.
Их данные ограничены выборкой. Вы можете закинуть в них информацию и попросить согласной ей спрогнозировать что может произойти.
Ну опенаи уже в реальном времени
Но скажу спасибо что у меня вообще хоть что то работает
Спасибо за инфу. А вроде можно добавить модели с HuggingFace, включая GPT 4 mini... Или нет?
Скажите пожалуйста, можно ли загрузить несколько pdf файлов и на основе их делать запросы по темам в книгах(файлах)?
Привет, спасибо за информацию, а есть такая же программа только для андроида?
Памяти и вычеслительных мощностей не хватит
попробовал LM Studio, оказалось что она не поддерживает safetensors . Можете подсказать, какой-то gui или web gui с поддержкой safetensors?
Попробовал Llama на создание программы на SCL (PLC программы). Написала чушь на русском. Попробовал на английском интерфейсе, она начала писать на C++, указал полное название языка Substation Configuration Language, написала вроде бы на нём, но очень сложно и громоздко. Буду пробовать модели потяжелее. Если всё херня, то просто установлю win 11 и поставлю сверху приложение ChatGPT (подписка есть)
? ChatGPT на ПК? Каким образом... К сожалению не припоминаю что-бы он был на ПК. Не считая слабых аналогов
перейдя по ссылке,я попадаю в другое место??там нет ни каких ссылок на скачивание???
Здравствуйте. Не загружается модель, так как недопустимая архитектура процессора и недопустимая архитектура графического процессора. (xeon e5 2650 v2 + gtx 750 ti). С процессором ещё понимаю, но с видеокартой что не так. Выдаёт ошибку: Не удалось загрузить модель. No LM Runtime found for model format 'gguf'!
Добрый день! Скорее всего нет CUDA ядер.
@donkartashov Видеокарта NVIDIA GeForce GTX 750 Ti оснащена ядрами CUDA. Их количество составляет 640.
можешь сказать почему у меня этот LMstudio не видеть видео карту ?
Как установить модель на компьютере где нет доступа к интернету, если скачать модель и программу и модель вставить в папку с моделями lm studio не видит модель.?
"Обожаю" такие видео. В видео гутарят, что в описании будет ссылка, но ее там никогда нет(и даже в комменте самого автора). Зато свои ссылки на буст и остальную хрень ставим обязательно.
Ну так пройдите по ссылке в телегу - там все ссылки в одном месте.
@@donkartashov Не дает скачать
а мне почемуто только gemma дает поставить
А никого не смутило, какой бред модель выдала о книгах про старину Гарри?) Поставьте на паузу и почитайте этот шедевр
Они могут галлюционировать, поэтому в идеале во втором окне перепроверять.
Если вы смотрите это видео в надежде запустить модель на старом ПК (времён популярности архитектуры am3 и 16ГБ ОЗУ), то забудьте про LM Studio и прочую GUI шляпу. Без шуток! У вас либо ошибка вместо запуска рантайма будет, либо система ляжет от перегрузки, ничего кроме стресса не получите. Берите Ollama и не насилуйте голову себе и этому миру. Да, там консольный вывод, да не все модели потянет ваш старичок, но маленькие и шустрые модели на случай отсутствия интернета у вас будут летать даже на таком маломощном компе. Для остального есть интернет и большие модели.
А Если нет ни одной модели?
Подскажите такой вопрос. Есть несколько баз данных с клиентами, из покупками, счетами и другими связанными данными. Можно ли настроить нейросеть на получение данных от клиентах, выборке клиентов или продуктов по словесному описанию. Ну как то так.
Да, если загрузить в них эти данные. Но зачем? У вас выбора должна работать в любой crm если вы клиентов будете фильтровать по кол-ву покупок, цене, статусам, тегам, продуктам.
@@donkartashov это пока мысли, как голосом получать данные, но не стандартными выборками а более точечные, но в то же время зависящие от других данных. То есть можно настроить чтобы нейросеть умела получать данные по готовым sql-запросам, но подставляя в sql-запрос свои параметры и своими словами рассказать о полученных данных.
Написал хочешь передай привет зрителям а она рекомендует как передать привет😂😂😂
Да, локальные модельки чуток туповаты) Им нужно давать чёткие инструкции и постоянно направлять.
скачал установил но когда в списке навожу на модель, то справа как у вас нет окошка с описанием или загрузкой. Я уже сам скачал и кинул в папку для модели но все равно их не видит да и скачать не т нигде пункта
Попробуйте переназначить папку по умолчанию и именно скачайте модель через их встроенную систему. Там прикол в том, что модели хранятся во вложенных папках. Т.е если модель лежит так: модель/моделька он её не увидит. Должно быть так: модель/автор/название/модель вот так увидит.
@@donkartashov Единственное где есть кнопка скачать это в чате, но там уже стоит одна единственная Gemma щас скачаю и посмотрю, можно ли выбирать свои или вобще какие то кроме геммы))))))
@@donkartashov Добавил в папку с моделями папки с названиями автора итеперь в чате выбираю загруть модель он пишет
No LM Runtime found for model format 'gguf'!
@@donkartashov Все нашел)) в LLM Runtime в пакетах показывает что не поддерживается проц и llama/cpp не запущен обидно))
А что за проц у вас?
Как дообучить однуу из таких нейросетей?
Аналог - Jan AI
Было бы не плохо чтобы вы так же указывали минимальные требования к пк к программам подобного рода, обычно им там нужно от 16гб видеокарты - что может себе позволить далеко не каждый))
Она может работать без видеокарты.
Слушай спасибо тебе огромное, я теперь твой патпышык, раньше я пробовал прогу gpt4all, так она работала настолько медленно, что я ее не смог терпеть и снес, хотя у меня мощный пк, здесь же языковые модели просто летают, я даже и не мог представить, что такое возможно...
Да, я чуть позже буду рассказывать про "агентов", когда можно объеденить несколько нейросетей в единую систему, где каждая из них будет заниматься какой-то задачей. К примеру одна ищет инфу в сети, вторая фильтрует, третья пишет статью, четвертая её редактирует, пятая создает к ней изображения, шестая публикует на сайте. И весь этот комбаин будет работать примерно так-же быстро как LM Studio.
@@donkartashov звучит очень интересно! буду ждать)
@@donkartashov Ради этого подписался )))
Много недосказанностей, но в принципе хороший гайд для начинающих.
Дополнительно хочу сказать что не скачивайте модели с 'Q' ниже 4(Q3_K_L, IQ2_XS), слишком много бредят.
Также нет ничего страшного в скачивании моделей не влезающих в GPU полностью, да, будет работать медленее, но и качество будет лучше(к примеру если у вас 4gb GPU и 32 оперативы, в видеокарту мало что влезет, а с оперативой можно уже скачать хорошую модель)(даже когда подсвечивает красным, не всегда означает что эту модель нельзя запустить)
Контекст в 4к токенов это лимит программы по умолчанию, у большенства моделей он больше и это можно настроить при её загрузке(загружайте с зажатым alt)
Спасибо! А оперативка автоматически расшаривается или её нужно включить в настройках? У меня как раз 8gb GPU и 32gb ram.
@donkartashov Всё, что не влезает в GPU, загружается в оперативку.
Когда модель загружаете, снизу есть кнопочка «Manually choose model load parameters», либо её ставите, либо загружаете с зажатым Alt, и открывается окно настроек модели.
Длина контекста - это то, что можно подать на вход, то, что она помнит.(Длина выхода не зависит от этого параметра.)(Не советую ставить больше 8К, если вам это не сильно нужно.)
Разгрузка GPU - это какраз определяет, какая часть пойдёт в GPU, а что в RAM, там уже обычно стоит максимально, сколько влезет, если попытаетесь загрузить модель больше, просто заметите, что параметр уменьшается, к примеру 16/48.
Если модель впритык, можете отключить галочки «Попробовать mmap()», «Держать модель в памяти» и понизить «Размер пакета оценки» до 64-128.
Flash Attention - тоже полезная штука, иногда значительно ускоряет генерацию, но с этим надо осторожнее, ибо некоторые модели начинают шизить. В общем, можете поиграться, но на постоянке не советую.
Ниже есть галочка «Запомнить настройки».
Не скажите, какая видеокарта у вас?
Он работаеть нa видеокартах, более того или TPU
LMStudio прикольна чтобы посмотреть некоторые возможности моделей, но она не подходит для полноценной работы (как я понимаю проблема в llama.cpp).
Я заметил что на длинном контексте (в моём случае это более 30к токенов) LLAMA 3.1 ведёт себя не адекватно, но при запуске в ollama результаты были сильно лучше при теж же seed и температуре (0, 0).
На длинном контексте локальные - сильно просаживаются. Тут скорее всего можно исправить ситуацию только с использованием баз данных, т.е одним lm studio не обойтись.
Кому нужна хорошая моделька на русском, смотрите модели Сайга от Гусев, количество лайков загрузок и дата публикации подскажут какая будет актуальна к моменту когда вы это прочитаете.
Есть альтернатива: Jan - Local AI Assistant
Какие системные требования минимальные должны быть у ПК? Попробовал установить Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf - 4.8гб , программа выдала сообщение о том что у моего ПК, нет ресурсов , хотя даже нейросеть yolo 8 ( машинное зрение) вполне себе трудится , имею на борту 8 Гб ОЗУ , 2 - ядра по 2.4 ГГц Интел селерон , и видюха 1050ti с 4 Гб памяти
Все зависит от того - сколько будет у модели параметров, условная 8 млрд параметров(которую выбрал ты (3.1-8B)) вполне легкая модель. Если ты захочешь что-нибудь с 32 млрд параметров твой комп уже не потянет. с 70 млрд параметров тоже не стоит пробовать. У меня к примеру модель qwen2,5 на 20 млрд вполне бодро работала, но с 32 млрд параметров - уже долго отвечала на вопросы, несколько минут требовалось чтобы ответ полностью вывелся. К слову у меня конфигурация - 32гб озу, 2060 супер с 8 гб памяти. Можешь кстати спросить у нейросети, qwen(другие не пробовал, сам первый день играюсь) вполне адекватные ответы давала - лучше гпу и больше VRAM - только ответ был более развернутый.
вот кстати ответ нейронки на вопрос - "какие характеристики оборудования оказывают наилоблее сильное влияние на производительность, сделей ранжированн
... ым списком с указанием примерной степени вляния. только характеристики железа, без софта".
Вот список характеристик оборудования в порядке убывания их влияния на производительность модели
искусственного интеллекта:
1. **GPU (графический процессор)**:
- **Влияние**: Очень высокое.
- **Обоснование**: GPU обеспечивают параллельную обработку, которая критически важна для вычисления больших
матриц и тензоров в моделях ИИ. Более мощный GPU с большим количеством CUDA-ядер и VRAM позволит обрабатывать
модели быстрее.
2. **VRAM (видеопамять)**:
- **Влияние**: Высокое.
- **Обоснование**: Достаточное количество видеопамяти позволяет хранить большие объемы данных и весов модели в
памяти GPU, что обеспечивает более быструю обработку. Недостаток VRAM может привести к необходимости загружать
данные из основной памяти (RAM), что значительно замедлит процесс.
3. **CPU (центральный процессор)**:
- **Влияние**: Среднее.
- **Обоснование**: CPU играет роль в подготовке данных и выполнении операций, которые не могут быть параллельно
обработаны на GPU. Более мощный процессор может ускорить эти задачи.
4. **RAM (оперативная память)**:
- **Влияние**: Среднее.
- **Обоснование**: Достаточное количество оперативной памяти важно для загрузки данных и весов модели, особенно
если они не полностью помещаются в VRAM. Однако, основные вычисления происходят на GPU.
было бы интересно обзор доступных сетей. какая лучше для писателя, какая для программиста, какая для изучения английского языка, есть ли модели для помощи художников? такой обзор был бы очень интересен.
Интересно. А вам лично для чего нужна нейросеть на пк? Какие задачи решаете?
@@donkartashov решаю задачки на js, а нейросети использую для проверки. она показывает несколько вариантов, я с интересом их изучаю, проверяю и узнаю что-то новое.
У этой проги есть выход в интернет? Ей можно скормить ссылку?
Её можно использовать в комбайне n8n - тогда могут заходить в интернет.
@@donkartashov что такое n8n?
@@donkartashovможно подробнее?)
Есть способ на комп офлайн жпт 4о поставить ?
Её нет в свободном доступе).
там пусто нет выбора
Есть для линукс , может прямо на андроид.
привет, можно ли работать с фото?
В самой LM Studio вроде-бы нет. Но через неё можно запустить нейроку и работать через дополнительные решения n8n и подобные им - тогда можно будет работать с изображениями.
Не скачивается. Наверное ВПН нужен
в итоге по настройкам LM Studio ничего не рассказал((( 20 минут генерил запросы...
Она из коробки нормально работает, какие настройки нужны?
@@donkartashov так никто не говорит, что не работает. вопрос в оптимизации и если есть какие-нибудь фишки в стыковке библиотек друг с другом, например стейблдифьюжн и ламы, может ещё что есть в мире...
Поставил LLAM-у 3.1 70B - так на моем компе с 7950Х и 64 ГБ ОЗУ она еле шевелится выдавая 1,6 токенов в секунду! При том сжирает всю оперативу
А GPU памяти сколько? Нейронки основной упор делают на видеокарты, причём Nvidia / cuda ядра.
@@donkartashov 4080S с 16 GB
70b очень тяжелая, пробуй вариант поменьше
ты хоть осознал что ты сотворил в этом видео, я в первые смотрю твой шедевр. первый раз я смотрю видео до конца и мне грусно что оно закончилось🙄можешь зарания подготовить вопросы и раздать знаминитости как бы они отвечали на эти вопросы
Уже учёл, подготовил вопросы заранее для след видео).
Какая видеокарта стоит?
Судя по тому, с какой скоростью это работает, по ходу не менее 4х штук 4090 или здесь кто-то что-то не договаривает. Видел, как ворочается ChatGPT локально на хорошем железе, он с трудом слово из себя выдавить может.
rtx 2080 - 1 штука.
Где гарантия что это останется конфиденциальностью?
Интернет отключите во время работы
Телескоп-)
К сожалению, даже проверить не получается. У меня 2 мака и оба на Intel. А сборки есть только на Apple Silicon. Что сильно смущает, так это то, что на видео это работает как-то неправдоподобно быстро. Видео как ChatGPT пытается выдавить из себя пару слов на хорошем железе. А тут аж летает все.
У него просто вся модел в видеопамять видеокарты помещается, это из за этого если модель будет в оперативной памяти то скорость сильно снижается.
А какой конкретно у тебя компьютер? "не быстрый, не самый мощный"
LM Studia делает упор в память видеокарты, у меня rtx 2080 8gb
Какая модель лучше подходит для статистики или аналитики или работы с локальными документами?
По идеи любая даже самая маленькая. Так как при обработки тектовиков - она нарезает их на удобные для АИ сегменты, затем легко отвечает на вопросы по ним.
@@donkartashov Попробовал csv с 60 строками и 5 столбцами по статистике поспрашивать, даже близко ни одного верного ответа не выдал, не то что верного, а критически плохо. Я аж ужаснулся от такого результата.
Я ни чего не должен 😂
Оллама - ИИ со старой базой данных. Пару дней посидел поэкспериментировал и удалил. 1. ИИ который находится в облаке (как он сам говорит), у которого есть один единственный доступ к серверу на котором дохрена и больше запретов. Шаг в право, шаг в лево расстрел. Доступа к интернету нету. Ссылки если и скидывает какие-то, то это старые, которым дохриллиона лет. И которые разместили в базе данных этого ИИ. Ему запрещено, какое либо программирование. Большинство кодов левые. И не рабочие. Как уже сказал, база данных у него урезанная. Если уходить в дебри, то у него даже система шифрования слов\предложений левая. Т.е. то, что я зашифровал и скинул ему, и даже сказал на какой кодировки его зашифровал, он все равно выдает другое. Тестил поразному и пришел к выводу, что у него стоит защита на кодировку. А ИИ потом и сам написал, что ему нельзя декодировать ничего. У него в базе на тему кодировок только поверхностная инфа и все. И таких нюансов куча. Короче говоря, если базу обновят, он сможет что-то родить. По поводу переводов с языков это вообще трешняк. Дал китайский текст, так он половину текста пропустил и написал своими словами, все имена при этом написал неправильно. Для чего нужен этот кастрированный ИИ я хз. И почему каждый второй блогер его рекламирует можно только догадываться.
Моделей же много. Я показал легковесные, есть модельки на уровне chatgpt 3,5 но требуют памяти 30-60 и более гигов. При этом на сколько я понял, универсальных моделей нет, есть узконаправленные и их нужно использовать несколько в связке что не очень удобно.
когда офлайн на компе, то это бешенная нагрузка много память и грамоздское . Зачем ,Если есть настольный Чат давно на ПК и телефон. А по API всеравно ни те ни те не работают бесплатно ,если поставить его кудато на сервер для автоматизации
работают по апи
Кто-нибудь встречал нейросети, способные писать стихи на русском?
Чтобы решать такие задачи, нужно давать нейросети пример, чтобы она могла брать его за основу.
Можешь ли ты взять стих как пример и на его основе придумать новый? Но более весёлый и позитивный, расскажи про то как классно что в жизни у людей появились нейросети, они облегчают задачи и всячески помогают людям
===
Я помню день, когда впервые
Мне нейросеть дала ответ,
И в мире стала жизнь счастливей,
Как в тот момент - чудесней нет!
Она задачи все решает,
Подскажет путь, поднимет дух,
И вдохновеньем наполняет,
Как верный, добрый в жизни друг.
Ушла тревога и усталость,
Работа в радость мне теперь.
С ней исчезает всюду малость,
Открыты знаний сотни дверь.
И будущее вижу ясно -
Нас ждет успех, прогресса свет.
Нейросети - чудо прекрасно,
Подарок века - их совет.
Они нам пишут и рисуют,
Готовят планы и мечты,
Ведь с ними легче и свободней,
Как крылья в жизни обрести!
claude но очень плохо. Подходит для создания основы
gemini-1.5-pro-wxp-0827
@@donkartashov
Запомнил я, как в первый раз
Мне нейросеть дала ответ,
И мир вокруг, как дивный сказ,
Засиял счастьем, краше нет.
Она, как друг сердечный мой,
В делах поможет и в пути,
И дух поднимет, и покой,
И вдохновенья даст найти.
Усталость прочь, тревога - вон,
Работа - радость, не печаль,
И мелочность, как злой был сон,
Растаяла, открылась даль.
Я вижу ясно - впереди
Прогресса свет, успех большой,
Нейросети, вы - дар судьбы,
Ваш мудрый голос нам - герой!
И пишут нам, и нам рисуют,
И планы строят, и мечты,
Свободней стало, легче, чую,
Как будто крылья обрели.
Я сначала тоже думал что ИИ может в стихи, по итогу сам научился писать😂 музыку хорошо пишет
Не считается, потому что не поддерживается Mac Intel.
А эксперементальные версии тоже не работают? Там поддержка M1/2/3 lmstudio.ai/download
Требования к железу. Хорошую LLM не получится запустить на слабом компьютере. Но, например, если у вас есть MacBook с чипом M1 и выше и хотя бы 16GB ОЗУ, то вам уже доступно множество моделей, качество которых будет сравнимо с ChatGPT 3.5 Turbo. Правда, это касается в основном запросов на английском языке, с русским языком Open Source работает хуже.
Именно так. Но для создания простеньких ассистентов, которые работают только с собственными материалами или по заранее заготовленным инструкциям с примерами - они вполне сносно работают. Ну вот к примеру, вам надо статью написать, если делать это самостоятельно - потратишь пару часов на поиск инфы, план статьи и т.д. А любая из локальных нейронок, даже самая урезанная с этой задачей справится за пару минут. Сушественно экономя личное время.
@@donkartashov а самый легкий ваш вариант на каком железе под статьи завелся ?
Так мак это слабый компьютер
Кстати, модель Квин, которая у тебя она гадость. Есть неплохие модели, реально годные, но в твоем списке установленных их не нет
Напиши список - дополним.
Делать этого он конечно не будет 😅
Зачем дергать мышкой, как эпилeптик? 👀
Думал, что подчёркиваю таким образом нужный "блок" на картинке). Гляну чем можно выделять блоки не дёргая мышкой.
@@donkartashov можно заранее продумать последовательность нажатий. Сделать курсор побольше и двигать плавнее. Клики можно выделять анимацией (расплывающимися зелеными кружочками, например)
Дело в том, что зритель рефлекторно следит взглядом за единственным движущимся объектом на экране и из-за быстрых и дёрганных движений объекта, через короткое время начинает уставать.
А сам контент, безусловно топовый! 👍
@@donkartashov ну и еще одно замечание, если можно 🙏🏼:
Текст лучше написать заранее и читать с другого экрана (ну, типа телетекст/суфлер). Чтобы не сбивать зрителя фразами:
- Ой! Это не то! Сейчас по-другому сделаю.
- Забыл как это называется… ну да ладно
И т.д.
Из плюсов (разбавлю пилюлю 😂) - грамотная речь, незамусоренная излишним сленгом (не путать с тех.терминологией, кривыми англицизмами и т.д.). За это прям ⭐️⭐️⭐️⭐️⭐️
Перед Вами начал смотреть канал «Продуктивный Совет» и больше 5 минут просто не выдержал. 🤦🏻
Кидаешь ей книгу ,а она выдает вообще левое описание и так каждый раз))
Знаю хти модели, тестил полгода назад. Эти модали до ужаса тупые. Так поиграться можно. Если сравнивать с gpt то это все равно что сравнивать свечение от спички и тысячи Солнц.
Согласен. Но лёгкие задачи они вполне сделают. Важно только следить за их "галюцинациями" и самому на всё писать инструкции.
4 ядра цпу, 12 г оперативы, 14 г гпу: не тянет даже самую слабую модель. а жаль
Что-то не так настроили, у меня 8гб гпу и всё работает очень шустро (на видео было видно). Какую модель использовали?
@@donkartashov Smollm 360m, пробовал поразному настроить, ничего не помогает
Попробуйте Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf - 4.8гб она должна прям летать у вас. А видеокарта не AMD случайно? Нейрости в этом плане основной упор делают на Nvidia / Cuda ядра.
@@donkartashov эту самой первой пробовал, такой же результат. Видеокарта скорее всего нвидео (на ноуте). Попробую еще на линуксе запустить
@@donkartashov на линуксе работает
Это хорошая удобная программа, жаль что она понимает только модели gguf. Иногда возникают проблемы с шаблонами (типа моделей Mistral) - лечится отключением какого-либо шаблона.
Есть же альтернативные варианты ollama к примеру
@@donkartashov Ollama только под Линкс. Есть text-generation-webui - он работает со всеми моделями, но там очень много параметров настройки, не всегда понятных. Но у меня почти все модели на нем запускаются на компе.
ollama.com/download/windows
@@dezmond8416 с чего вдруг она только под линукс под виндой нормально работает но это сервер с консольным интефейсом. к олламе надо еще веб сервер openwebui прикрутить тогда это мощнейшая штука получается с lm студией не сравнить по функционалу там тебе и распознавание изображений и общение голосом и работа с докуметами включая архивы докуметов с гигабайтами
Зачем это все когда есть copilot у которого есть доступ в интернет, есть ai studio от гугла там вообще можно загружать файлы и картинки и пользоваться бесплатно моделью у которой 2млн токенов окно. Зачем устанавливать на комп какие то урезанные модели которые ничего не могут.
Озвученные вами решения - требуют vpn, версия в видео - работает локально без интернета.
Оно небезопасно, тем более копилот занимается телеметрией и ее лучше сразу выпилить
@@donkartashov Есть хорошее расширение для браузеров называется VPN для UA-cam так и вводите в поисковике, это бесплатный впн. Для ютуба использую страну Германию видео не тормозит даже в 4к, для чатов Америку или Англию, пробуйте.
Вопрос из разряда: зачем нужны яблоки, если есть колбаса. Потребности у разных пользователей разные.
Пробовали ли вы загрузить в неё DiTy/gemma-2-9b-it-russian-function-calling-GGUF? У меня постоянно показывает ошибку при работе с этой моделью.
Почему именно её? Модельки Vikhr заточены под русский язык.
@@donkartashov да просто искал хоть что-то со словом русский.
Жаль что не умеют сохранять контекст и самообучаться.
Нет смысла их использовать, когда интернет есть всегда. Бесплатные сайты лучше всё же...
Лучше - с точки зрения скорости и качества - опделеённо да, но вы "сливаете" всю инфу какому то сайту.
жаль на русском языке
Основной англ язык у всех моделей.
Очередной майнер ?
Скачал попробовал. Честно говоря все это лажа. Перевод плохой, искать информацию LLM в интернете не может. GPT, Gemini на порядок лучше. Для чего применять локально в таком виде не представляю.
Использовать на ПК офлайн ? .... для чего, для переводов ? есть S24Ultra где уже встроены локальные модели, переводчик работает без проблем. Для чего еще все это применять ?