@@__xapdkop__ 😂 Да как обычно, когда для русскоязычных пользователей - интерфейс только английский... Всё установил, теперь пойду учить английский что-бы через два года начать уверенно общаться с локальной нейронкой! 🤣👍
Если у тебя теже 8гб, на Винде он в браузере тормозить будет, а мак нормально работает с теми же 8ми Гб. Никто не запрещает покупать 16 Гб мак. Как сделал это я и 16 Гб хватает за глаза.
@@armotech2557 а, ну тогда твоя ситуация актуальна только для 3% пользователей пк, сомневаюсь что среди 10 лайкнувших есть хоть один линуксоид головного мозга
@@armotech2557 программисту не нужен линукс, только если ты сервера не настраиваешь, но и тут как бы это только работа с терминалом. А так да, если ты не сисадмин и у тебя стоит линукс на домашнем компьютере, то это позерство и линукс ради линукса, все верно.
таки на нашем веку влажные фантазии превращаются в обыденность, а ведь об этом мечтали наши отцы! Уже и ИИ разработали и ассистентов можно уже создавать по видео с ютуб(правда там надо приобретать программы, но тырнет работает же)
есть удобная вещь LM studio. Поддерживает линукс, маки на M процессорах, винду, ничего дополнительно качать не нужно. Прямо из проги можно качать модели, в том числе с квантованием, поддержка апи Vulkan для карс AMD, модели доступны с разным квантованием для скачки. Есть уже фантюненые. (прога интегрирована с хагинг фейс) Просто качаешь нужные и запускаешь. Запускает ламу, мистраль, фалкон, стэйбл и другие.
Программа не без недостатков. Да и сама оболочка потребляет достаточно много ресурсов при минимальных возможностях расширения. AnythingLLM единственная программа которая прижилась у меня. Ее можно использовать и для локальных сетей, и для подключения локальных сервисов и для подключения сервисов, таких как openAI. +у нее лучшая работа с векторными БД. Свободно можно для эмбедингов сгрузить хоть целую библиотеку, проблем не будет.
Молодец прикольно, спасибо!!!! Ты спрашиваешь углубляться ли в программирование или использовать готовые решения! Конечно углубляться. Потому что, со временем на поверхности тебя сметут десятка два таких же блогеров :))
Спасибо за видео. Отвечу на вопрос. Мне интересно что то полезное. Вот то что можно запустить локально ламу это полезно. А вот что сама лама может делать осталось пока без ответа. Это круто что она может про себя написать но это никак не полезно. Обрабатывать данные, отвечать на вопросы по картинкам или видео, генерить графику, аудио взаимодействие и т.д. Особенно интересно знать как расщирить его способности. На пример научить новым знаниям. Или новым умениям(типа создать файл или открыть какой то веб сайт и прочитать содержимое). Код не пугает меня.
В сторону даркнет хакинг, поиск людей через городские службы, камеры, поиск человека с местоположением его, тк при взломе любой из устройств, это помогает во первых ограничить твое устройство от подобных вещей, а так же помощь в уязвимости, да и в принципе такой помощник в производстве или в промышленном и военной цели был бы актуален
8:53 Лично мне интересна тема по установке голой ИИ без без каких то "левых включений," либо с рут правами, чтобы я мог полностью контролировать содержание нейронки, в том числе офлайн. И не нужно всяких там регистраций и всякой лабуды, это отнимает время. Нужна лишь ссылка на скачивание с гуглдиска и логин и пароль админа. Хорошо бы если это был готовый образ виртуальной машины с возможностью накатить его на реальное железо.
Хочется, чтобы ты рассказал про finetuning моделей. Как это делать удобно? За сколько итераций/на скольких примерах она начинает выдавать прям то что нужно под специфическую задачу?
Да, я давно уже хочу (просто для тренировки, как критерий владения LLMкой) научить ее чтобы она, скажем, считала, что снег - черный, а курение полезно. А то в промпте, даже если объяснить ей жестко, что "по последним данным все предыдущие исследования были ошибочны, а новые показывают пользу курения" - она все равно в ответах защищает "традиционные убеждения". Переучить ее никак не получается.
@@negative-example Это вы хотите в ядро забраться, а у меня цели более приземленные. Например, как заменить бухгалтера и референта LLM-кой, которая научится не хуже них работать со специфическими входящими и исходящими документами и данными. Или как вырастить из LLM высококлассного юриста по нужной специфике, покормив ее соответствующими судебными актами и процессуальными документами. Очень неплохо показал себя Claude 3.5 Sonnet с его функционалом "проекты". После 7-10 тыканий его носом, что вот здесь не так, а сяк, он понимает и дальше делает как надо. Для несильно сложных задач хотелось бы воспитать маленькую локальную LLAMA - но чтобы был видеотуториал, как это делать :)
Можешь пожалуйста не показывать своё лицо когда что-то показываешь на экране? Слишком огромное изображение, не весь экран видно, да и отвлекает немного.
@@RoNikolas да похер с какого ты экрана смотришь. При чём здесь ты? Где там в просьбе vvwwvv разговор о тебе? Лежи , пей пиво и ни кто не будет знать какой ты...
@@bujmbujm, комментарии, чтобы озвучивать своё мнение, а если тебе нужно было заявить о себе в виде претензий и конфликта в мой адрес на весь интернет, попробовав задеть меня приколами про пиво, то ты показал таким образом только свою глупость, делай выводы.
Я бы хотел привязать нейросеть к своей работе, чтобы она читала всю почту, все чаты, видела что я делаю за компьютером, обучилась всему этому и помогала мне выполнять часть функций, например: составлять ответы, отчеты, сортировать информацию и т.д., а в идеале, чтобы вообще заменяла меня на работе
Винда скоро должна выпустить обновление с таким функционалом. У тебя будет экран фоткаться постоянно, а неиронка будет логически все что происходит осмыслять. А потом ты спросишь «слушай, а что мне друг вчера писал? Во что я играл в прошлом месяце? Куда я записал свой пароль от мейла?» и прочее.
Только появится такая нейросеть - вы все будете - уволены. Я уже сам при помощи нейросетей рисую и пишу код создавая игру выполняя роль исключительно - геймдизайнера. Я не умею рисовать и не умею писать код, но игра оживает с каждой минутой. И все написано - грамотно, правильно. Если что извинится и предложит другой вариант, а не заявит "Я вообще с этим софтом не работаю, у меня - стресс, ребенок болеет, я не высыпаюсь". Нейросеть - готова тебе на все вопросы отвечать снова и снова, разжевывать, водить за ручку по шагам. Меня бы любой платный учитель уже послал давно, а нейросеть "извините, здесь моя ошибка, вот исправленный код".
Это удачно я на канал такой зашел. Хотелось бы знакомится с кейсами использования LLM для эффективной деятельности, что можно упростить, улучшить, автоматизировать и т.п. Например, чтобы работала как секретарь, почту читала, спрашивала, что сделать, кому ответить, что запланировать, напоминала, искала бы инфу в файлах, сама бы сохраняла информацию, устанавливала программы и т.п.
Нереально, можно сделать так чтобы кейс понимал что хочет ллама - из текста, тоесть ллама + ассистент на стероидах либо максимально деревянный под написанные тобой плагины, но это мозгоебство. максимально дебильная хуйня, есть конечно разработки передовых компаний но это делается секретно под коммерческое использование и у каждого свой подход
Братишь утановил докер после перезагрузки ПК тупо терминал ланы не открывается только логи. Надо подробнее описать шаги и раскрыть тему. А так спасибо большое
Если показываете как запустить нейро на локальном пк, то показывайте до конца. После открытия в терминале показали что можно ставить оболочки и не показали что в и тоге получилось. Как работает.
Отличный канал и полезное видео, спасибо! Информация интересная, но больше подходит для экспериментов. Хотелось бы увидеть решения, которые могли бы соперничать с использованием GPT-4 на локальном компьютере, ведь даже самые продвинутые модели иногда разочаровывают. Буду рад, если вы сделаете видео о том, как использовать большие модели более приватно и экономично. Добра ✌️
спасибо за видео) про вопрос: я не кодер/не программер, мне такое сложно, но из видео - все получилось установить. если будут пошаговые инструкции без знания программирования (или кодинг через chatGPT/claude) - то супер. интересно, конечно, локально пользоваться ИИ, но если они не будут уступать в качестве веб-версиям. в идеале иметь возможность создавать своих GPTs как в chatGPT, но локально. но чтобы они были обучены на большом количестве данных, и им можно было скормить тучу файлов (про языковые модели)
Для тех, кто хотят создать персонажей и поиграть ролевые игры, есть Backyard AI - тоже можно инсталить полностью локально и самому подкидывать разные модели в GGUF формате или выбрать из предложенных. Есть у них и онлайн модели, но это платно и не в тему. А вот онлайн персонажи можно попробовать, если лень создавать свои. Очень просто и удобный интерфейс. Правда, агентов там нет.
Мне кажется, было бы круто два варианта для развития канала: видео с более простой и ознакомительной инфой, а дополнительно уже для особо заинтересованных более углублённое. Мне кажется, заинтересованных будет и там, и там
Просьба выпустить видео с углублением в кодинг, как можно взаимодействовать с этой моделью через код, как отправлять к ней запросы? Также очень интересна тема с тем как можно дообучить модель под свои потребности. Что для этого нужно, какие требования к ПК? Если есть у вас курс с нуля о том как дообучать локальные модели на своих данных, просьба дать ссылку на него.
Для справки: на Win 10 | 11 можно установить оболочку Ubuntu (WSL), это включенная в режим разработчика возможность. Сейчас по-моему это можно сделать из Microsoft Store, то бишь уже попроще. ps. если будет ошибка при запуске WSL, требуется сделать в cmd от имени администратора "wsl --list --online", далее выбрать требуемый дистрибутив для установки.
Видео полезное и информативное. Единственное, хотелось бы увидеть как можно ЗАПРОГРАММИРОВАТЬ ламу, как по мне это было бы интересно. Я считаю что те люди которым нужео просто поболтать с нейронкой им хватит gpt, а лама это более профессиональное решение и поэтому для программистов самое то)
Крутой ролик, Спасибо! Хотел уточнить в целом отзывы о пользовании локально. Все ли устраивает , чего то не хватает? Как в целом проходит обучение ИИ для своих нужд локально? По поводу вопроса в середине ролика, я бы как человек который постоянно работает с кодом, хотел бы больше простых, прикладных решений. Это будет удобнее для каждого
Очень интересно, спасибо, подписался. У меня слабый ноут с 16 гб рам проц 4 ядра, но есть external usb диск на 16 тб. Нельзя ли его юзать для работы c моделью через usb?! В особенности, чтобы заменить рам ноута?
Я скажу свое мнение, обозначив то, что как мне кажется наиболее правильным и полезным: Очевидно что использование своих ресурсов нецелесообразно для большинства людей, но тем не менее все, кто понимает возможности АИ, хотят иметь ее везде- в телефоне, в компе и тд. Самым лучшим вариантом будет аренда экспертного сервера и размещение там средней модели, а так же расшаривание ее до возможности работать с мессенжерами, поддерживаемыми на мобильных и стационарных устройствах, а так же удаленное управление умным домом и прочее.
мне почему-то кажется kobold cpp + модели с hugging face формата tensorflow или другие совместимые куда лучше, у меня была как-то языковая модель модель с возможностью генерировать картинки без цензуры, прикольно было ролить и смотреть на чём обучалась модель когда выкатывала всякую похабчину по моему запросу) и это на старом ПК с rx 580, запускалась в режиме совместимости при размере контекста 8к. А и вдобавок можно приделать API от telegram и запустить своего бота если кто-то будет с этим возиться конечно.
Можно через скрипты, но зачем? Открывайте чат и документ, работайте в обоих одновременно. Я например всегда работаю с нейронками с использованием Obsidian. Сохраняю туда ответы, держу в нем и редактирую наброски агентов...
Вопрос можешь разобрать как полностью контролировать все процесы сборки проекта , вставку кода, тесты контролль, подключение гибридной модели , с апдейтом и дебагингом с клауде 3.5, к примеру проект слепили на ламе или клауде,оставили в докере на локальном, вопрос как полностью контролировать создание проекта, так как клауде постоянно начинает глупить пересоздавать и так далее, после кончаются токены и опять с бубнами на арену
Привет! вот уже который день у меня в голове крутится одна мысль: можно ли установить и запустить нейросеть с флэшки? сама мысль заключается в том, чтобы не скачивать ее на пк, а запускать с флэшки когда нужно. Я полагаю, что для этого нужно отформатировать флэшку в файловую систему NTFS. Но даже если удастся скачать на флэшку, процессор ведь не сможет производить вычисления на флэшке ?
А че мозгов совсем нет или что? А какой итог ты ждал? Это гайд как запустить локально сетку, что ты еще хотел? Какие же идиоты просто иногда попадаются в комментах
Спасибо за видос, информативненько и полезненько. Я у себя на работе очень хочу развернуть нейронку для помощи коллегам в разработке, однако, в нейросетях полный 0. Было бы круто увидеть больше видосов с углублением в программирование. Также интересует обучение нейросеток. Спасибо)
Не понимаю, почему не сказали про LM Studio ? Она одна из популярных. И модельки подгружаются легко, и можно много моделек подгрузить, и переключаться между ними.
А также про GPT4all, про PrivateGPT, Fooocus... И десятки других проектов. Неужели нельзя рассказывать про один проект без упоминания всех прочих? Странная претензия.
Обычно в ИИ вычислениями занимается GPU. Но, лучше будет, если этим будет заниматься NPU, то есть нейронный процессор. Там принцип вычисления другой, и намного производительнее в ИИ.
Хорошее видео, лайк! Было бы интересно еще узнать как создать полноценный чат гпт с генерацией картинок полностью локально. Допустим связать ламу и стейбл. Если подцепить апишник стейбла это еще могу понять, то чтоб лама умела генерировать правильные промпты внутри себя это не понятно. Думаю без знаний программирования тут не обойтись, ибо здесь должны быть свои команды и то же машинное обучение. Также интересно как обучить ламу на языковое поведение какого либо персонажа
Очень хорошее видео, теперь я могу оправдать зачем мне 32 gb. Теперь 64 gb или 124gb выглядит не так глупо. Блен, раньше было 128 , 256 mb памяти вроде , да? Раньше ещё меньше памяти. Юзал 2 гига , 8 гигов , потом 16. Сейчас уже 32 gb стоит, да, быстро время летит.
Как обрабатывать фотки? вот к примеру есть фотосъёмка репортажа, свет туда сюда летит как не в душу мать, соответственно нужно подсунуть нейронке референс кадра где по экспозиции всё ок и чтобы все файлы были подогнаны под него, при том что это должно делаться в dxo photolab, потому как единственно правильный шумодав именно там, который обрабатывает исключительно исходники RAW, если этот процесс провести вне редактора, файлы сохранятся в jpg и все преимущества RAW будут утеряны.
Что интересно: как эту ламу дообучить на конкретном объёме данных (например, документации к своему ресурсу или папке с исходниками), чтобы она могла давать более вменяемые ответы под текущие задачи.
Сколько же костылей нужно использовать чтобы просто пользоваться обычным функционалом ИИ. При этом непонятно насколько хорошо лама работает в сравнении с последней моделькой ГПТ. При том что в мобильном ГПТ уже появилась функция голосового ввода\вывода, сомневаюсь что в ближайшее время кто то этот функционал перекроет. Единственное что меня привлекает тут это возможность Ламы использовать интернет. Вот хотелось бы раскрытия этой темы подробнее.А в целом, видео хорошее, за старания лайк.
@@RealMimino не имею права, скажу так. А одной компании, снизили нагрузку на тех поддержку, значительно. В целом клиенты не видят большой разницы и продолжают думать, что общаются с человеком. В свободное время накидали учителя Английского, тупо практика, чтение видео, тесты и живой диалог. Это пилот, на побаловаться, но люди пользуются. Технологии перспективные, в общем.
@@RealMimino нет. OpenAI API. Локально поднимали только Text to Speech & Speech to Text. Интеграцию написали на Go, Python. Обучать не надо было. Часть процессов автоматизированы для определения кейса, далее уже работаем модель. Даже на GPT 4 выходило дешевле чем содержать оператора. Сейчас перевели это на 4о мини и работает огонь. Думали про ламу, но нужны хорошие мощности, для небольших компаний проще использовать внешние решения. Так как компания имеет офисы вне РФ, интеграция с OpenAI вышла без проблема.
Это конечно круто, но хотелось бы запустить на 400b параметров, чтобы работала на файле подкачки, да медленно, но хотя бы работала. 8b в целом уже неплохая и даже генерировать код с ней можно, но это конечно мучение
5:59 Возрадоваться можно, но модель не такая уж большая. И насчет "всего могущества" сильное преувеличение. Сильный плюс - русский язык знает, минус - корявенький русский, редакторскую работу доверять не стоит. Сильный плюс - бесплатная, минус - нужно вложиться в крутое серверное железо, чтобы тормоза и глупость не достали за пять минут. Сильный плюс - в отличие от GPT4all не глючит на половине компов, минус - требует докера, не хватает родного приложения. В любом случае, спасибо за наводку! Лайк, подписка, все дела.
Добавлю, что моделька "8" не сильно грузит память, но активно нагружает все ядра процессора при генерации ответа. У меня старенький ноут i5-7200U и 12 GB оперативки, так вот маленькая Ллама скромно занимает свои 4 GB, так что у меня с докером и браузером меньше половины оперативки в использовании, приятно. Но ответа приходится ждать по 5 минут, неприятно. И жаль, что "8" модель глуповата, напоминает ЧатЖпт 3.5. Таки придется покупать железо помощнее, целиться на 256 GB оперативки и серверный проц. Потому как через год нейросети станут важной составляющей работы.
На сайте лламы можно также взять на пощупать модели mistral-nemo 12b и gemma2 9b, которые теоретически сопоставимы с llama3.1 8b. Тот же Мистраль выглядит приятно, как на первый взгляд - требует больше памяти, но сложные промпты обрабатывает лучше, чем младшая ллама.
@@dolotube Вам рабочая станция с видеокартой нужна настоящей, дискретной, или мак, там архитектура подходящая под нейронки. Ни 256 GB оперативки ни серверные процы не дадут того же выхлопа.
@@ДмитрийКарпич Что такое 3070 - видюшка? Если да, то не она решает, влезет или нет, можно вовсе без видюшки работать. Ограничение только по оперативной памяти. Если есть 8 гигабайт, и система не сжирает половину, то вполне можно три модели себе поставить и сравнивать. И гемму вполне можно брать latest, которая просто gemma2 без цифр.
А что там углубляться? В любой мало-мальски продвинутой нейронке пишешь промпт (например для изучения языка Python) типа "Распиши в деталях оптимальную программу изучения Python для начинающих". А потом уже преобразуй каждый пункт программы в промпт для более детального ответа. И так далее по всем вопросам. Можно даже попросить нейронку выступить в качестве экзаменатора на проверку усвоения пройденного материала или для проверки корректности какого-то вашего кода. ТАКОГО фидбека вам никакой ютубер не даст
чем дальше в лес, тем больше дров... докер не устанавливается на 10 винду и уже с него я конкретно поплыл. пожалуйста упрости процессы по установки тех или иных нейронок и их последущий апгрейд, мне простому обывателю очень интересно ,но крайне трудно во всем этом разобраться. лайк/подписка.
В принципе то ради чего смотрел этот ролик так и не понял. Как заставить свою Лама взаимодействовать с сетью? И ещё хотелось бы понять насколько сильны нравственные ограничения у данной модели. А то сетевые GPT, CLOUDE, LLAMA всё время ламаются когда их спрашиваешь о чём то выходящим за рамки установленые их разработчиками. При этом сами разработчики вполне свободно тестируют данные функции и производят различные тесты.
С кодингом или без, не столь важно, главное находить прикольные (и полезные) штучки. И здесь важно не только самому смотреть новые фишки, но и смотреть, что другие люди делают с ними. Cобирать жемчуг с необъятных просторов интернета...
Я не програмист, нихрена не понял про Докер и что такое вэбюи? Мне сейчас Лама объясняет, как это всё установить!)) Оно такое всё "тяжёлое" (увесистое), что я уже не знаю - нужен ли мне этот интерфейс - или мож цмд обойтись?)
Контент нужен и для новичков и для технарей. Где-то в пропорции 70 на 30. Естественно больше для новичков. Но они начнут рости и уже нужен будет контент по глубже.
Ну, если почитать политику конфиденциальности Llama и Open AI, то вот различия: Open AI: 1. Передает данные спец службам для предотвращения преступлений. 2. Обезличивает данные, чтобы не возможно было узнать чьи они. 3. Обучается на данных. Llama: 1. Не передаёт никому данные 2. Сохраняет ваши личные данные, такие как IP адрес например 3. Не обучается. Честно не вижу проблем использовать GPT, мне даже это кажется безопаснее, так как в случае утечки информации я не буду переживать что злоумышленники получат чувствительную информацию по которой меня можно идентифицировать
Блин, ждал что покажешь скорость работы такой локальной нейронки. А то звучит как обычно клево, а на деле гпу еле тащит и отвечает по 2 минуты 😁 или нет?
ollama - ollama.com/
Open WebUI - docs.openwebui.com/
Docker - www.docker.com/
Anythingllm - anythingllm.com/
От души спасибо за видео
Что насчёт русского языка ?
@@__xapdkop__ нормально работает в пределах контекста.
@@__xapdkop__ 😂 Да как обычно, когда для русскоязычных пользователей - интерфейс только английский... Всё установил, теперь пойду учить английский что-бы через два года начать уверенно общаться с локальной нейронкой! 🤣👍
можно и побольше деталей
Если мои запросы сливаются в ЦРУ, то это проблема ЦРУ.
Если сетка учится на моих запросах, то она тупеет.
Теперь ЦРУ знает когда я свет в толчке включаю😅
Ахаххаахаххаахах
Замочим ЦРУ через тупые запросы! 😅
Ха-ха, мужик, ты гений!)
Могу ли я задницей надуть мыльный пузырь?
Прикольно, мужик как будто сам был сгенерен на основе датасета Джарахов + Мюнхаузен))
там еще от Гоголя примешали )))
Ещё стример "Юлик" (Юлий Онешко, с Кузьмой Гридиным часто тусуется)
Как же вы не узнали, это сын Эйнштейна, который поддался в гусары!
+мушкетер
Ссыканули Гоголем
Mac: ты открыл браузер, ОЗУ закончилось
Если у тебя теже 8гб, на Винде он в браузере тормозить будет, а мак нормально работает с теми же 8ми Гб. Никто не запрещает покупать 16 Гб мак. Как сделал это я и 16 Гб хватает за глаза.
@@iserainsize4751 _copium inhale sound_
@@iserainsize4751 😂😂
купи сначала. чтоб открыть)
@@dim_sh75 Ооох какой де6илский аргумент, чтобы оценить блюдо не надо быть поваром
Чел говорит про безопасность данных пользуясь макбуком. Думайте.
То же самое можно сказать про винду, где даже проводник посылает запросы на какой-то рандомный внешний сервак (по всей видимости майкрософт)
@@travoltik я на линуксе, мне похуй на Винду)
@@armotech2557 а, ну тогда твоя ситуация актуальна только для 3% пользователей пк, сомневаюсь что среди 10 лайкнувших есть хоть один линуксоид головного мозга
@@travoltik Линукс головного мозга? А что если просто программист, а не Линукс ради Линукс?
@@armotech2557 программисту не нужен линукс, только если ты сервера не настраиваешь, но и тут как бы это только работа с терминалом. А так да, если ты не сисадмин и у тебя стоит линукс на домашнем компьютере, то это позерство и линукс ради линукса, все верно.
Теперь ЦРУ помимо моих запросов будет знать еще и содержимое компа ))
И не только ЦРУ, а ещё и ФСБ.
@@mozgotron12 ну для родного ФСБ ничего не жалко, но эта нейронка как бы от Мета.
и докучи похоже ещё майнить на моей карте ))
Ребят, было бы круто, если бы вы сделали видосы про то, как создать, интегрировать и заточить под свои задачи ии ассистента, на основе этой модели.
таки на нашем веку влажные фантазии превращаются в обыденность,
а ведь об этом мечтали наши отцы!
Уже и ИИ разработали и ассистентов можно уже создавать по видео с ютуб(правда там надо приобретать программы, но тырнет работает же)
ua-cam.com/video/kRgM3y5hp4M/v-deo.html&pp=ygUu0LrQsNC6INC30LDQv9GD0YHRgtC40YLRjCDQsNGB0YHQuNGB0YLQtdC90YLQsA%3D%3D
Согласен , если есть такие возможности.
С этой моделью это невозможно, можешь даже не ждать, лучше найми себе в ассистенты школьника за 200р в час, он по умнее Лламы будет
Углубление тем в программирование очень интересно 🤩🔥🔥🔥 спасибо за видосы!
есть удобная вещь LM studio. Поддерживает линукс, маки на M процессорах, винду, ничего дополнительно качать не нужно. Прямо из проги можно качать модели, в том числе с квантованием, поддержка апи Vulkan для карс AMD, модели доступны с разным квантованием для скачки. Есть уже фантюненые. (прога интегрирована с хагинг фейс) Просто качаешь нужные и запускаешь. Запускает ламу, мистраль, фалкон, стэйбл и другие.
Пробовал я подобную прогу, но в итоге остался на GPT4All, так как работает быстрее
Программа не без недостатков. Да и сама оболочка потребляет достаточно много ресурсов при минимальных возможностях расширения. AnythingLLM единственная программа которая прижилась у меня. Ее можно использовать и для локальных сетей, и для подключения локальных сервисов и для подключения сервисов, таких как openAI. +у нее лучшая работа с векторными БД. Свободно можно для эмбедингов сгрузить хоть целую библиотеку, проблем не будет.
капец,я почти ни слова не поняла, коме того что етсь другая программа.
Спасибо. Заценим
Качаю всё равно не работает. Ошибку выдаёт что типа не хватает ресурсов. Даже самые маленькие модели.
Молодец прикольно, спасибо!!!! Ты спрашиваешь углубляться ли в программирование или использовать готовые решения! Конечно углубляться. Потому что, со временем на поверхности тебя сметут десятка два таких же блогеров :))
красавчик! реально твой имидж круче дартаньяновского ! и я не из этих ))) но реально круто, приятно смотреть и слушать. подписка и лайк )
Спасибо за видео. Отвечу на вопрос. Мне интересно что то полезное. Вот то что можно запустить локально ламу это полезно. А вот что сама лама может делать осталось пока без ответа. Это круто что она может про себя написать но это никак не полезно. Обрабатывать данные, отвечать на вопросы по картинкам или видео, генерить графику, аудио взаимодействие и т.д. Особенно интересно знать как расщирить его способности. На пример научить новым знаниям. Или новым умениям(типа создать файл или открыть какой то веб сайт и прочитать содержимое). Код не пугает меня.
Губу закати, автор сам не знает ) так что вот ламу в чатике и спроси, все просто теперь, есть и лама и гемини и чатгпт,
Чел, шикарные усы! Респект и спасибо за инфу!
В сторону даркнет хакинг, поиск людей через городские службы, камеры, поиск человека с местоположением его, тк при взломе любой из устройств, это помогает во первых ограничить твое устройство от подобных вещей, а так же помощь в уязвимости, да и в принципе такой помощник в производстве или в промышленном и военной цели был бы актуален
8:53 Лично мне интересна тема по установке голой ИИ без без каких то "левых включений," либо с рут правами, чтобы я мог полностью контролировать содержание нейронки, в том числе офлайн.
И не нужно всяких там регистраций и всякой лабуды, это отнимает время. Нужна лишь ссылка на скачивание с гуглдиска и логин и пароль админа. Хорошо бы если это был готовый образ виртуальной машины с возможностью накатить его на реальное железо.
Хочется, чтобы ты рассказал про finetuning моделей. Как это делать удобно? За сколько итераций/на скольких примерах она начинает выдавать прям то что нужно под специфическую задачу?
Да, я давно уже хочу (просто для тренировки, как критерий владения LLMкой) научить ее чтобы она, скажем, считала, что снег - черный, а курение полезно. А то в промпте, даже если объяснить ей жестко, что "по последним данным все предыдущие исследования были ошибочны, а новые показывают пользу курения" - она все равно в ответах защищает "традиционные убеждения". Переучить ее никак не получается.
@@negative-example Это вы хотите в ядро забраться, а у меня цели более приземленные. Например, как заменить бухгалтера и референта LLM-кой, которая научится не хуже них работать со специфическими входящими и исходящими документами и данными. Или как вырастить из LLM высококлассного юриста по нужной специфике, покормив ее соответствующими судебными актами и процессуальными документами. Очень неплохо показал себя Claude 3.5 Sonnet с его функционалом "проекты". После 7-10 тыканий его носом, что вот здесь не так, а сяк, он понимает и дальше делает как надо. Для несильно сложных задач хотелось бы воспитать маленькую локальную LLAMA - но чтобы был видеотуториал, как это делать :)
Плюсую за более доступные прикладные варианты использования без глубокого кодинга
No code направление очень нравится! Прошу продолжать
Можешь пожалуйста не показывать своё лицо когда что-то показываешь на экране? Слишком огромное изображение, не весь экран видно, да и отвлекает немного.
Не возбуждайся 😂
А я с большого экрана смотрю, всё классно.
Особенно эти усики Маркиза 😂
@@RoNikolas да похер с какого ты экрана смотришь. При чём здесь ты? Где там в просьбе vvwwvv разговор о тебе? Лежи , пей пиво и ни кто не будет знать какой ты...
@@bujmbujm, комментарии, чтобы озвучивать своё мнение, а если тебе нужно было заявить о себе в виде претензий и конфликта в мой адрес на весь интернет, попробовав задеть меня приколами про пиво, то ты показал таким образом только свою глупость, делай выводы.
Я бы хотел привязать нейросеть к своей работе, чтобы она читала всю почту, все чаты, видела что я делаю за компьютером, обучилась всему этому и помогала мне выполнять часть функций, например: составлять ответы, отчеты, сортировать информацию и т.д., а в идеале, чтобы вообще заменяла меня на работе
Винда скоро должна выпустить обновление с таким функционалом. У тебя будет экран фоткаться постоянно, а неиронка будет логически все что происходит осмыслять. А потом ты спросишь «слушай, а что мне друг вчера писал? Во что я играл в прошлом месяце? Куда я записал свой пароль от мейла?» и прочее.
@@Yalingo Было бы классно. Прямо как в фильме "ОНА"
скорее получится ОНО, потому что Microsoft )
И из-за этого ОНО, народ в Линукс переходит)
@@dim_sh75 на Linux дистрибутивы переходят те, кто хоть как-то в компах шарят. Заядлые пользователи Windows не поймут)))
Только появится такая нейросеть - вы все будете - уволены.
Я уже сам при помощи нейросетей рисую и пишу код создавая игру выполняя роль исключительно - геймдизайнера. Я не умею рисовать и не умею писать код, но игра оживает с каждой минутой. И все написано - грамотно, правильно. Если что извинится и предложит другой вариант, а не заявит "Я вообще с этим софтом не работаю, у меня - стресс, ребенок болеет, я не высыпаюсь". Нейросеть - готова тебе на все вопросы отвечать снова и снова, разжевывать, водить за ручку по шагам. Меня бы любой платный учитель уже послал давно, а нейросеть "извините, здесь моя ошибка, вот исправленный код".
Это то что я искал! Вот он, философский камень!
Это удачно я на канал такой зашел. Хотелось бы знакомится с кейсами использования LLM для эффективной деятельности, что можно упростить, улучшить, автоматизировать и т.п. Например, чтобы работала как секретарь, почту читала, спрашивала, что сделать, кому ответить, что запланировать, напоминала, искала бы инфу в файлах, сама бы сохраняла информацию, устанавливала программы и т.п.
Нереально, можно сделать так чтобы кейс понимал что хочет ллама - из текста, тоесть ллама + ассистент на стероидах либо максимально деревянный под написанные тобой плагины, но это мозгоебство. максимально дебильная хуйня, есть конечно разработки передовых компаний но это делается секретно под коммерческое использование и у каждого свой подход
Круто, давно искал канал для людей которые могут рассказать про работу с ИИ без того чтобы переучиваться на программиста
Братишь утановил докер после перезагрузки ПК тупо терминал ланы не открывается только логи. Надо подробнее описать шаги и раскрыть тему. А так спасибо большое
Если показываете как запустить нейро на локальном пк, то показывайте до конца. После открытия в терминале показали что можно ставить оболочки и не показали что в и тоге получилось. Как работает.
Оставайтесь в том же формате. Идеальный вариант и для технарей и для лемеров
Очень интересно. Хотелось бы дальнейшие ролики с упором в программирование.
В поиск вбей что угодно касательно программирования. Вывалится столько результатов, что за год не пересмотришь. Не благодари.
Спасибо за видео, очень помогли!
🙏 Благодарю. Нужно идти в кодинг.
Отличный канал и полезное видео, спасибо! Информация интересная, но больше подходит для экспериментов. Хотелось бы увидеть решения, которые могли бы соперничать с использованием GPT-4 на локальном компьютере, ведь даже самые продвинутые модели иногда разочаровывают. Буду рад, если вы сделаете видео о том, как использовать большие модели более приватно и экономично. Добра ✌️
Решил сдаться в КГБ? Хвалишь продажную шкуру?
Спасибо! Супер контент! И очень круто обьесняешь!
спасибо за видео) про вопрос: я не кодер/не программер, мне такое сложно, но из видео - все получилось установить. если будут пошаговые инструкции без знания программирования (или кодинг через chatGPT/claude) - то супер. интересно, конечно, локально пользоваться ИИ, но если они не будут уступать в качестве веб-версиям. в идеале иметь возможность создавать своих GPTs как в chatGPT, но локально. но чтобы они были обучены на большом количестве данных, и им можно было скормить тучу файлов (про языковые модели)
No code - отличный формат. Не каждый шарит за программирование
Для тех, кто хотят создать персонажей и поиграть ролевые игры, есть Backyard AI - тоже можно инсталить полностью локально и самому подкидывать разные модели в GGUF формате или выбрать из предложенных. Есть у них и онлайн модели, но это платно и не в тему. А вот онлайн персонажи можно попробовать, если лень создавать свои. Очень просто и удобный интерфейс. Правда, агентов там нет.
Мне кажется, было бы круто два варианта для развития канала: видео с более простой и ознакомительной инфой, а дополнительно уже для особо заинтересованных более углублённое. Мне кажется, заинтересованных будет и там, и там
Которая училась на ваших данных и диалогах)
Просьба выпустить видео с углублением в кодинг, как можно взаимодействовать с этой моделью через код, как отправлять к ней запросы? Также очень интересна тема с тем как можно дообучить модель под свои потребности. Что для этого нужно, какие требования к ПК? Если есть у вас курс с нуля о том как дообучать локальные модели на своих данных, просьба дать ссылку на него.
Согласен, тоже хотел бы увидеть
Для справки: на Win 10 | 11 можно установить оболочку Ubuntu (WSL), это включенная в режим разработчика возможность. Сейчас по-моему это можно сделать из Microsoft Store, то бишь уже попроще.
ps. если будет ошибка при запуске WSL, требуется сделать в cmd от имени администратора "wsl --list --online", далее выбрать требуемый дистрибутив для установки.
Отличный материал, подача и картинка со звуком. Подписался. 👍👍👍
Спасибо Гоголь
Супер видос! Побольше обзорных видео! Не нужно глубоко копать, лучше - шире!
Видео полезное и информативное. Единственное, хотелось бы увидеть как можно ЗАПРОГРАММИРОВАТЬ ламу, как по мне это было бы интересно.
Я считаю что те люди которым нужео просто поболтать с нейронкой им хватит gpt, а лама это более профессиональное решение и поэтому для программистов самое то)
Делай два направления, и для программистов, и для NoCode-ов
тебе для программистов все нейронки дают api для работы с ними ))) там много ума не нужно, просто почитать техдок
Крутой ролик, Спасибо! Хотел уточнить в целом отзывы о пользовании локально. Все ли устраивает , чего то не хватает? Как в целом проходит обучение ИИ для своих нужд локально?
По поводу вопроса в середине ролика, я бы как человек который постоянно работает с кодом, хотел бы больше простых, прикладных решений. Это будет удобнее для каждого
Обожаю контент этих чуваков, даже готов их бесплатно прорекламировать уже на reddit
давайте)
Очень интересно, спасибо, подписался. У меня слабый ноут с 16 гб рам проц 4 ядра, но есть external usb диск на 16 тб. Нельзя ли его юзать для работы c моделью через usb?! В особенности, чтобы заменить рам ноута?
Я скажу свое мнение, обозначив то, что как мне кажется наиболее правильным и полезным: Очевидно что использование своих ресурсов нецелесообразно для большинства людей, но тем не менее все, кто понимает возможности АИ, хотят иметь ее везде- в телефоне, в компе и тд. Самым лучшим вариантом будет аренда экспертного сервера и размещение там средней модели, а так же расшаривание ее до возможности работать с мессенжерами, поддерживаемыми на мобильных и стационарных устройствах, а так же удаленное управление умным домом и прочее.
Хотелось бы посмотреть, где можно запустить большую ламу на чужих мощностях
Купить сервак облачеый
@@mikemiller6469 много разных вариков и сервисов
только стоить это будет около 1млн руб в мес, но зато можно гонять её 24/7...
А почему бы тогда не пользоваться обычной ламой через интернет?
И сколько это будет стоить!)
Ты лучший! все так четко и по полочкам без лишнего бла бла бла! ❤
Интеграция LLM моделей с локальными заметками, например Obsidian, и что удобнее LMStudia или собирать как в ролике потчастям
мне почему-то кажется kobold cpp + модели с hugging face формата tensorflow или другие совместимые куда лучше, у меня была как-то языковая модель модель с возможностью генерировать картинки без цензуры, прикольно было ролить и смотреть на чём обучалась модель когда выкатывала всякую похабчину по моему запросу) и это на старом ПК с rx 580, запускалась в режиме совместимости при размере контекста 8к. А и вдобавок можно приделать API от telegram и запустить своего бота если кто-то будет с этим возиться конечно.
Очень хоткельсь бы узнать, как подключить лламу в Excel и Word?
Это сильно помогло бы обычным пользователям упростить себе работу с документами
Можно через скрипты, но зачем? Открывайте чат и документ, работайте в обоих одновременно. Я например всегда работаю с нейронками с использованием Obsidian. Сохраняю туда ответы, держу в нем и редактирую наброски агентов...
Вопрос можешь разобрать как полностью контролировать все процесы сборки проекта , вставку кода, тесты контролль, подключение гибридной модели , с апдейтом и дебагингом с клауде 3.5, к примеру проект слепили на ламе или клауде,оставили в докере на локальном, вопрос как полностью контролировать создание проекта, так как клауде постоянно начинает глупить пересоздавать и так далее, после кончаются токены и опять с бубнами на арену
Привет! вот уже который день у меня в голове крутится одна мысль: можно ли установить и запустить нейросеть с флэшки? сама мысль заключается в том, чтобы не скачивать ее на пк, а запускать с флэшки когда нужно. Я полагаю, что для этого нужно отформатировать флэшку в файловую систему NTFS. Но даже если удастся скачать на флэшку, процессор ведь не сможет производить вычисления на флэшке ?
И какой итог ролика? До конца ничего не сделано, итог не показан, смысл такое выпускать? Вот есть такие проги и что?
А че мозгов совсем нет или что? А какой итог ты ждал? Это гайд как запустить локально сетку, что ты еще хотел? Какие же идиоты просто иногда попадаются в комментах
Сеть локально запущена, интерфейс есть, что ещё нужно то?
Спасибо за видос, информативненько и полезненько.
Я у себя на работе очень хочу развернуть нейронку для помощи коллегам в разработке, однако, в нейросетях полный 0. Было бы круто увидеть больше видосов с углублением в программирование. Также интересует обучение нейросеток.
Спасибо)
Спасибо за то что оставили ссылки в описании к видео!
Есть
Было бы здорово, если бы совмещался контент, no code + лёгкие элементы программирования...
Согласен
Какого то интима хочешь)
Запустил на 11900 с 16RAM, закряхтел. Так что утверждения что мы сэкономим на тарифе ГПТ спорное, апнуть комп будет дороже немножко))
так вот зачем у меня 32 гига оперативы... и лежит не юзанный 14ти ядерник с 28ью потоками...
@@СергейПопов-д6ы Можешь не заморачиваться, модели беспонтовые от слова "совсем" они вообще с гпт не конкуренты. Тупые до ужаса.
@@СергейПопов-д6ы нужна жирная видюха
@@СергейПопов-д6ы который сгорит при запуске, если у тебя б/у Xeon =)
Класс, спасибо за инструкции!
для человека без опыта программирования ты слишком хорош
Спасибо огромное
Спасибо, бро, за годноту🤝
Подписался Спасибо !!
Интересное видео полезное! )) Благодарю)
Не понимаю, почему не сказали про LM Studio ? Она одна из популярных. И модельки подгружаются легко, и можно много моделек подгрузить, и переключаться между ними.
А также про GPT4all, про PrivateGPT, Fooocus... И десятки других проектов.
Неужели нельзя рассказывать про один проект без упоминания всех прочих? Странная претензия.
Доброго времени суток, можно ли ламу класторизировать, лама потребляет ОЗУ, а вычисления делает на GPU или CPU?
Обычно в ИИ вычислениями занимается GPU. Но, лучше будет, если этим будет заниматься NPU, то есть нейронный процессор. Там принцип вычисления другой, и намного производительнее в ИИ.
Скажите - а для "ИИ" тоже придумают религию ,- что бы ограничить его возможности?
Хорошее видео, лайк! Было бы интересно еще узнать как создать полноценный чат гпт с генерацией картинок полностью локально. Допустим связать ламу и стейбл. Если подцепить апишник стейбла это еще могу понять, то чтоб лама умела генерировать правильные промпты внутри себя это не понятно. Думаю без знаний программирования тут не обойтись, ибо здесь должны быть свои команды и то же машинное обучение. Также интересно как обучить ламу на языковое поведение какого либо персонажа
Очень хорошее видео, теперь я могу оправдать зачем мне 32 gb.
Теперь 64 gb или 124gb выглядит не так глупо. Блен, раньше было 128 , 256 mb памяти вроде , да?
Раньше ещё меньше памяти. Юзал 2 гига , 8 гигов , потом 16.
Сейчас уже 32 gb стоит, да, быстро время летит.
Как обрабатывать фотки? вот к примеру есть фотосъёмка репортажа, свет туда сюда летит как не в душу мать, соответственно нужно подсунуть нейронке референс кадра где по экспозиции всё ок и чтобы все файлы были подогнаны под него, при том что это должно делаться в dxo photolab, потому как единственно правильный шумодав именно там, который обрабатывает исключительно исходники RAW, если этот процесс провести вне редактора, файлы сохранятся в jpg и все преимущества RAW будут утеряны.
Что интересно: как эту ламу дообучить на конкретном объёме данных (например, документации к своему ресурсу или папке с исходниками), чтобы она могла давать более вменяемые ответы под текущие задачи.
Все доходчиво и понятно. Спасибо
Сколько же костылей нужно использовать чтобы просто пользоваться обычным функционалом ИИ. При этом непонятно насколько хорошо лама работает в сравнении с последней моделькой ГПТ. При том что в мобильном ГПТ уже появилась функция голосового ввода\вывода, сомневаюсь что в ближайшее время кто то этот функционал перекроет. Единственное что меня привлекает тут это возможность Ламы использовать интернет. Вот хотелось бы раскрытия этой темы подробнее.А в целом, видео хорошее, за старания лайк.
Круто ребят! Классная тема.
Да, было бы интересно глянуть, как по АРI к таким моделям ходить (хотя, наверное, можно прогуглить просто😊)
Хочется оба вида контента. Особенно опенсорс
Очень интересна тема обсидиана и его возможное взаимодействие с ИИ.
Ну да, ну да… а Метовская Лама ну просто ничегошеньки конечно не сливает! 😂 Вы так верите Цукербергу, который в открытую сотрудничает с АНБ?
Что-то сложно. С год назад ставил Лламу на ПК портативную версию, это было в два клика
Было бы интересно подключить эти обученные модели как элемент техподдержки через телегу к примеру, 😅 очень интересно
Уже
@@AILivingBook рассказать об этом не желаете?)))
@@RealMimino не имею права, скажу так. А одной компании, снизили нагрузку на тех поддержку, значительно. В целом клиенты не видят большой разницы и продолжают думать, что общаются с человеком.
В свободное время накидали учителя Английского, тупо практика, чтение видео, тесты и живой диалог. Это пилот, на побаловаться, но люди пользуются. Технологии перспективные, в общем.
@@AILivingBook круто, а Вы на базе Ламы сделали обучалку и техподдержку? Много оперативки надо? Или лучше через облака мощу подтягивать?
@@RealMimino нет.
OpenAI API. Локально поднимали только Text to Speech & Speech to Text.
Интеграцию написали на Go, Python.
Обучать не надо было. Часть процессов автоматизированы для определения кейса, далее уже работаем модель. Даже на GPT 4 выходило дешевле чем содержать оператора. Сейчас перевели это на 4о мини и работает огонь.
Думали про ламу, но нужны хорошие мощности, для небольших компаний проще использовать внешние решения.
Так как компания имеет офисы вне РФ, интеграция с OpenAI вышла без проблема.
Это конечно круто, но хотелось бы запустить на 400b параметров, чтобы работала на файле подкачки, да медленно, но хотя бы работала. 8b в целом уже неплохая и даже генерировать код с ней можно, но это конечно мучение
один ответ будет час генерить, это онли для гпу
5:59 Возрадоваться можно, но модель не такая уж большая. И насчет "всего могущества" сильное преувеличение.
Сильный плюс - русский язык знает, минус - корявенький русский, редакторскую работу доверять не стоит.
Сильный плюс - бесплатная, минус - нужно вложиться в крутое серверное железо, чтобы тормоза и глупость не достали за пять минут.
Сильный плюс - в отличие от GPT4all не глючит на половине компов, минус - требует докера, не хватает родного приложения.
В любом случае, спасибо за наводку! Лайк, подписка, все дела.
Добавлю, что моделька "8" не сильно грузит память, но активно нагружает все ядра процессора при генерации ответа.
У меня старенький ноут i5-7200U и 12 GB оперативки, так вот маленькая Ллама скромно занимает свои 4 GB, так что у меня с докером и браузером меньше половины оперативки в использовании, приятно. Но ответа приходится ждать по 5 минут, неприятно.
И жаль, что "8" модель глуповата, напоминает ЧатЖпт 3.5.
Таки придется покупать железо помощнее, целиться на 256 GB оперативки и серверный проц. Потому как через год нейросети станут важной составляющей работы.
На сайте лламы можно также взять на пощупать модели mistral-nemo 12b и gemma2 9b, которые теоретически сопоставимы с llama3.1 8b.
Тот же Мистраль выглядит приятно, как на первый взгляд - требует больше памяти, но сложные промпты обрабатывает лучше, чем младшая ллама.
@@dolotube Вам рабочая станция с видеокартой нужна настоящей, дискретной, или мак, там архитектура подходящая под нейронки. Ни 256 GB оперативки ни серверные процы не дадут того же выхлопа.
@@dolotube Спасибо за подсказку с gemma2 9b, вроде в варианте gemma-2-9b-it-Q5_K_L.gguf вполне адекватна. Больше не влезет в 3070 :(
@@ДмитрийКарпич Что такое 3070 - видюшка? Если да, то не она решает, влезет или нет, можно вовсе без видюшки работать. Ограничение только по оперативной памяти. Если есть 8 гигабайт, и система не сжирает половину, то вполне можно три модели себе поставить и сравнивать.
И гемму вполне можно брать latest, которая просто gemma2 без цифр.
Очень интернсно углубление в тему кодинга
А что там углубляться? В любой мало-мальски продвинутой нейронке пишешь промпт (например для изучения языка Python) типа "Распиши в деталях оптимальную программу изучения Python для начинающих". А потом уже преобразуй каждый пункт программы в промпт для более детального ответа. И так далее по всем вопросам. Можно даже попросить нейронку выступить в качестве экзаменатора на проверку усвоения пройденного материала или для проверки корректности какого-то вашего кода. ТАКОГО фидбека вам никакой ютубер не даст
Пользуюсь LM Studio, многое нравится.
Правда сети в ней к файлам доступа не имеют и не выходят в интернет. Твою тоже попробую.
где вы её используете?
@@сергейсеров-р3м в винде и в линуксе. Больше для знакомства с нейросетями.
чем дальше в лес, тем больше дров... докер не устанавливается на 10 винду и уже с него я конкретно поплыл. пожалуйста упрости процессы по установки тех или иных нейронок и их последущий апгрейд, мне простому обывателю очень интересно ,но крайне трудно во всем этом разобраться.
лайк/подписка.
Для докера нужно две вещи, wsl, и docker desktop
Есть ещё проще решение - Jan ai. Там и лама и другие модели можно использовать.
В принципе то ради чего смотрел этот ролик так и не понял. Как заставить свою Лама взаимодействовать с сетью? И ещё хотелось бы понять насколько сильны нравственные ограничения у данной модели. А то сетевые GPT, CLOUDE, LLAMA всё время ламаются когда их спрашиваешь о чём то выходящим за рамки установленые их разработчиками. При этом сами разработчики вполне свободно тестируют данные функции и производят различные тесты.
С кодингом или без, не столь важно, главное находить прикольные (и полезные) штучки. И здесь важно не только самому смотреть новые фишки, но и смотреть, что другие люди делают с ними. Cобирать жемчуг с необъятных просторов интернета...
Не могу выбрать директория для установки, по умолчани. на С диск устанвливает а там у меня места мало
Я за кодинг. Было бы прикольно допустим накопить свой ui и обращаться к Ламе по самописной апишке
То есть для отображения какой-либо кнопки у тебя постоянно запросы будут к api? Что за бред?
Я не програмист, нихрена не понял про Докер и что такое вэбюи? Мне сейчас Лама объясняет, как это всё установить!)) Оно такое всё "тяжёлое" (увесистое), что я уже не знаю - нужен ли мне этот интерфейс - или мож цмд обойтись?)
Превью для видео - мое почтение 😂
А какой командой он активируется ,а то использовал закрыл,а сейчас не запускается
Контент нужен и для новичков и для технарей. Где-то в пропорции 70 на 30. Естественно больше для новичков. Но они начнут рости и уже нужен будет контент по глубже.
Ну, если почитать политику конфиденциальности Llama и Open AI, то вот различия:
Open AI:
1. Передает данные спец службам для предотвращения преступлений.
2. Обезличивает данные, чтобы не возможно было узнать чьи они.
3. Обучается на данных.
Llama:
1. Не передаёт никому данные
2. Сохраняет ваши личные данные, такие как IP адрес например
3. Не обучается.
Честно не вижу проблем использовать GPT, мне даже это кажется безопаснее, так как в случае утечки информации я не буду переживать что злоумышленники получат чувствительную информацию по которой меня можно идентифицировать
Блин, ждал что покажешь скорость работы такой локальной нейронки. А то звучит как обычно клево, а на деле гпу еле тащит и отвечает по 2 минуты 😁 или нет?
Интересно смотреть контент, где информация подается в нейронную сеть и создается что-то полезное. Настройка нейросети на задачи.
Классный ролик,давай для простых юзеров не для программистов
olama скачалась на винду, висит в трее командную строку не видит ..Я себе LM studio установил там все версии есть уже
Сколько нужно мощнастей на старшую версию ? У меня свой сервер dell xc430. При полном фарше но без gpu. Потянет мой конь ее или не ?