GPT модели БЕСПЛАТНО и ЛОКАЛЬНО на компьютере | LM Studio
Вставка
- Опубліковано 25 гру 2024
- 🚀 В этом видео я познакомлю вас с программой LM Studio, которая позволяет скачивать и общаться с ИИ локально. Мы рассмотрим, как установить и настроить программу, а также изучим её основные функции. Вы увидите, как легко можно взаимодействовать с языковыми моделями, получать ответы на вопросы и генерировать текст прямо на своём компьютере. Программа идеально подходит как для разработчиков, так и для любителей, желающих экспериментировать с искусственным интеллектом.
Бусти👇
🔗 boosty.to/adap...
Программа LM Studio👇
🔗lmstudio.ai/
Все ИИ в одном месте + API для GPT-4o без VPN👇
🔗 gptunnel.ru/?r...
🔸 Промо: ADAPTERA10
Криптокошельки👇
🔹 USDT (TRC20) - TMPjJgVSTymBjgqEwAixvXvpFGXjPthxuD
🔹 Toncoin (TON) - UQCR-mwNs6Ez6Tk2heJ9TVL4b1GqKPvLpVbkHs8-gn6XaUSv
По поводу сотрудничества👇
🔗 t.me/adaptera_...
Параметры LLM:
Top K: Этот метод ограничивает выбор слов для следующего токена только первыми K наиболее вероятными словами. Это помогает избежать генерации менее вероятных и, возможно, неуместных слов, улучшая качество текста.
Штраф за повторение: Этот параметр применяется для уменьшения вероятности повторения одних и тех же слов или фраз в сгенерированном тексте. Это помогает сделать текст более разнообразным и естественным.
Top P (или Nucleus Sampling): Вместо того чтобы ограничивать выбор K наиболее вероятными словами, этот метод выбирает слова, которые составляют определённый процент (P) от общей вероятности. Это позволяет более гибко подходить к выбору слов и может улучшить разнообразие текста.
Min P: Этот параметр может использоваться для установки минимального порога вероятности для выбора слов, что помогает избежать генерации слишком низкокачественного текста.
"Бесплатно" гонять киловаты получится только, если мамка оплачивает счета на электричество и покупает сам комп. Нет бесплатных вычислений такого уровня - просто пути оплаты выглядят иначе, включая потраченое время на установку и отладку. Тема скорее должна вертеться вокруг конфиденциальности - в локалке или на чужих серверах с цензурой и большим братом.
Да, бесплатные вычисления - это как бесплатный Wi-Fi в кафе: всегда есть свои условия!
Если современный мощный компьютер и интернет достаточно быстрый, всё очень просто скачать и настроить, только в моделях самих сложно разобраться там, сделали бы отдельное видео про их сравнение, что бы не качать все подряд и самому сравнивать слишком долго.
Могут ли какие-то модели обрабатывать изображения, чтобы, например, загрузив их, они выполняли задания на основе этих изображений?
@@ront4551 Да, такие модели есть. В поиске вбить "vision" и выйдет список актуальных LLM
Llava v1.5 7B
Почему никто не говорит про технические характеристики компьютеров? Скачал, начал устанавливать выдает ошибки, железо не соответствует требованием!
@@Жизньврассказах-ъ8ш Рекомендуют 16 Гб, но у меня запускалась и на 8 Гб, но при условии если лишние проги отключены.
@@Жизньврассказах-ъ8ш macOS
Чип: Apple Silicon (M1/M2/M3/M4).
Требуется macOS 13.4 или более поздняя версия.
Для моделей MLX требуется macOS 14.0 или более поздняя версия.
Рекомендуется 16 ГБ+ ОЗУ.
Вы по-прежнему сможете использовать LM Studio на 8 ГБ Mac, но придерживайтесь меньших моделей и скромных размеров контекста.
В настоящее время Mac на базе Intel не поддерживаются. Отзовитесь здесь, если вам это интересно.
Windows
LM Studio поддерживается как в системах на базе x64, так и ARM (Snapdragon X Elite).
ЦП: требуется поддержка набора инструкций AVX2 (для x64)
ОЗУ: LLM могут потреблять много ОЗУ. Рекомендуется не менее 16 ГБ ОЗУ.
Linux
LM Studio для Linux распространяется как AppImage.
Требуется Ubuntu 20.04 или более поздняя версия
только x64, aarch64 пока не поддерживается
Версии Ubuntu новее 22 не прошли тщательное тестирование. Сообщите нам, если у вас возникли проблемы, открыв сообщение об ошибке здесь.
Интересное видео. Однозначно лайк. У меня тоже всё никак Руки не доходят. Ещё бы можно было дообучать на своих данных. Или там можно где-то?
Есть возможность прикрепить документ. Этот процесс не совсем можно назвать дообучением. Предположим, что прикрепленный документ состоит из 10,000 символов. Он разбивается на так называемые "чанки" по 1,000 символов, которые затем сохраняются в векторной базе данных. При выполнении запроса осуществляется поиск по векторной базе, и возвращаются наиболее релевантные чанки текста. Эти чанки затем вставляются в основной промт.
@@Marat_Mazitov Сложновато но общий смысл я думаю понял спасибо. Это более продвинутая версия выводов и резюме? Часто нейросети в диалогах их тоже любят делать даже когда их не просишь.
@@romanbolgar Работал как-то с векторной базой данных, ухх.. ну и шлаак.
10:30 Цитата: "Вам не понравилась программа и Вы решили её удалить". Марат, ну зачем так говорить? Нет бы честно сказал: "Лично мне программа не понравилась и я удалил к ху... собачьим))"
@@sergeygoryachyov Хахах) на самом деле с программой знаком с лета этого года. Она у меня сейчас установлена. Сейчас разрабатывают вторую версию проги для управления компьютером с помощью ИИ (на канале есть первая версия). Так вот с помощью этой проги (LM studio) хочу локальную LLM настроить, для тех кто не хочет тратиться на токены.
Халява это хорошо, а видео, конечно, информативное, но мне не совсем понравилось, как ты объяснял процесс. Некоторые моменты были неясными, и я потерялся на середине. Возможно, стоит добавить больше деталей или примеров, чтобы сделать материал более доступным. Надеюсь, в будущем ты учтёшь это
На середине это когда я скачивал LLM или рассказывал про управление компьютером с помощью ИИ?
Скрлько стоит железо? 3 млн )))
@@3ampolit нет, Ноутбук MSI GF76 Katana 11UCX-892XRU. 70 000 руб)
Написано gpt, а на видео лама
Обе модели относятся к классу трансформеров и способны выполнять схожие задачи. Если бы я упомянул полное название Llama (Large Language Model Meta AI), большинству это было бы непонятно.
простыми словами гпт это вид ии моделей а не чатгпт лол))).
Нас наебали, расходимся
ничего не работает как понял токени просит зря качал
@@gardiniusbro какой ещё токен просит? Напишите подробнее
Не понимаю, зачем выпускать видео, если сам не разобрался, как что и почему работает. Только лишь догадки, основанные на надписях к пунктам и настройкам программы, которые пользователь и так может сам прочитать. Но самое удивительное - это наглядно показать, что программа бесполезна для конечного пользователя из-за артефактов в тексте. Когда на самом деле их можно убрать, используя от 7b модели от qwen и Gemma, которые хорошо пишут на русском. Llama же не обучается на русском контенте и поэтому не знает его в достаточной мере, вследствие непригодна для обычного использования на русском.
В начале видео четко сказано, где скачать программу, как ее настроить и как ею пользоваться. Однако стоит отметить, что видео не претендует на полное обучение. Кроме того, 7b модели могут не запуститься у большинства зрителей. То, что вам знаком интерфейс программы, не означает, что он будет понятен всем. Что касается наглядной демонстрации артефактов - важно, чтобы зрители осознавали, что в этом «меде» есть и ложка дегтя, чтобы избежать разочарования у пользователей.
@@Marat_Mazitov Я почему-то уверен, что ты ответы генеришь через ГПТ
@@Marat_Mazitov достойный ответ..