У вас проблемы с VPN? В России недавно начали блокировать два популярных VPN протокола: OpenVPN и WireGuard. Я предлагаю воспользоваться моим телеграм ботом. Он поможет вам настроить VPN с использованием протокола Outline. t.me/hour_vpn_bot
К сожалению, пока что версия Виталика может только так говорить, считать и приводить примеры. Постепенно мы улучшим симуляцию данной модели, что бы движения головы, мимика, тон голоса и логические примеры с аргументами выглядели более реалистично.
Дружище ) спасибо за пояснения, скажи пожалуйста на тему видеокарты, не как не могу понять какую мне подобрать под нее, особенно если хочу использовать 2 сразу, и как мне это облегчит жизнь ?) обьем эти 8 - 16 -24 гигабайт с весами, мне прдбирать модель под озу или гпу ?) ответь пожалуйста ))
@@dezmond8416 спасибо, попробовал уже так сделать, скачал какую-то Vicuna, называется ggml-vic13b-q4_2.bin Не понятно только как теперь её запустить, пытаюсь скормить её альпаке - говорит ошибка загрузки. Видимо, так не получится, другая программа нужна..
Супер. Именно ведущих на русском нам не хватает. А те, кто разбираются - не спешат инструктировать общественность, зато о самих методологиях и структуризациях могут болтать часами, добавляя в конце своих статей - публикуйте свои результаты(утрирую конечно, но обстановка именно такая). Не останавливайся, просвящай. Меньше чем три.
Существует ли нейросеть, которая основана на LLaMA, может быть установлена локально и имеет доступ в Интернет? Может быть существуют какие-либо форки у Alpaca, которые дают такие возможности?
Такой функционал есть у chatGPT. Для доступа в интернет специальное плагины пишутся. Это перспективное напрвление, надеюсь скоро будут готовые решения на основе открытых моделей.
Ответ гпт: Квантизация весов нейросети - это процесс снижения точности чисел, используемых для представления весов нейронной сети. Обычно веса хранятся в формате с плавающей точкой, который может занимать много места в памяти и требовать больших вычислительных ресурсов для их обработки. Квантизация может существенно сократить требования к памяти и ускорить вычисления, но при этом может привести к потере точности. Как правило, чем меньше количество бит, используемых для представления весов, тем больше точность теряется. Однако современные методы квантизации позволяют минимизировать потерю точности, и для многих приложений точность модели после квантизации остается достаточной.
То есть alpaca получается лучше, чем llama? Нужно ли скачивать репозиторий для 30B? Посмотрел ещё английские ролики, так говорят про узлы какие-то ещё + они там ещё как-то выходят на сайт, где можно выставлять дополнительные настройки
@@kuliev.vitaly я пытался установить на windows 10, смотрел дополнительно другие ролики, но так и не получилось ( Буду очень благодарен, если запишешь видео
@@kuliev.vitaly я скачал веса 30в, после распаковал там файл win, далее командная строка "cd" на папку с файлом и прописываю команду "./chat -m ggml-model-q4_0.bin". И я не пойму что делаю не так, какой шаг я упускаю. Думаю многим было интересно видео и ты был бы первым в этом плане.
@@kuliev.vitaly C:\Users\Nikita\alpaca-30B-ggml>./chat -m ggml-model-q4_0.bin "." не является внутренней или внешней командой, исполняемой программой или пакетным файлом.
Не может загрузить модель - llama_model_load: loading model from 'ggml-alpaca-7b-q4.bin' - please wait ... llama_model_load: failed to open 'ggml-alpaca-7b-q4.bin' main: failed to load model from 'ggml-alpaca-7b-q4.bin' logout
Для этой версии; 30b Сколько нужно оперативки и всякие ли процессоры подойдут ей? И можно ли с ней выстроить обычное общение? И... Способна ли она брать некий характер другого человека? Условно, чтобы она притворялась Илоном Маском.
@@kuliev.vitaly Не могли бы вы попробовать предоставить один пример? Был бы благодарен, так как скачиваю эту программу в основном для этого. А мой трафик ограничен, мех.
@@kuliev.vitaly Привет. Скажи пожалуйста. У меня 4 ядерный проц, 4гб оперативки, windows 8.1 x32. Можно ли скачать максимальный объём этого чата , распаковать на жёсткий диск и пользоваться ? Скорость не критична. Главное - работоспособность. Или нужно обязательно много оперативки ?
Простой запрос корректно написала. Запрос: "Напиши функцию на языке python для сложения двух чисел." Ответ:" def add(a, b): return a + b #return sum of two numbers as result add(20,35) "
можно более подробно как ее установить на WIndows? Шаг Open a Windows Terminal inside the folder you cloned the repository to непонятен-) Как его запустить то в этой папке.
Способов несколько есть. Если при нажатии по пустому месту папки shift+ПКМ пункта "открыть терминал здесь" нет, то можно нажать на адресную строку проводника, набрать там cmd и нажать enter, откроется консоль в этой папке. Либо открыть терминал заранее через меню пуск, а потом с помощью команды cd перейти в неё. Если же папка находится на другом диске, то нужно будет также перейти на этот диск, например с помощью команды D:
Запрос: "Кусок стального рельса лежит на каменистом дне реки. Его поставили вертикально. Изменилась ли при этом выталкивающая сила? Изменится ли она (по сравнению с предылущим случаем), если при подъеме часть рельса окажется над водой? Ответ обоснуйте и укажите для каждого случая, уменьшится или увеличится выталкивающая сила."
Ответ: "Yes, the upthrust force will change when a piece of steel reel is placed vertically in river bed with stones. The magnitude and direction of this force depends on several factors such as water current velocity, density of fluid (water), depth at which it has been kept etc."
Продолжение: "If the reel is partially submerged in water when it's lifted up then its weight will be reduced by an amount proportional to how much of the reel was underwater. This means that less force would need to be applied for lifting than if all parts were above water, but more than if none had been below."
"The upthrusting force will either decrease or increase depending on the situation and how much of it is submerged in water. If more than half of its length was underwater, then there would be a greater amount of buoyancy acting upon it which could cause an overall reduction in the thrusting force. However if less than half of its length were immersed in liquid, this may result in an increase in upthrust as well due to more surface area being exposed and thus able to exert pressure on the surrounding fluid."
Мне кажется будущее таких программ в том что бы хранить ленгвистическое ядро(с токенами) на локальной машине но при этом что бы она могла обращаться к интернету, это сильно расширит возможный функционал нейронки.
@@kuliev.vitaly Там беда с политикой, щас даже регистрация через добротный впн по новой почте и полноценной интернет симке английской не позволяет тебе зарегаться так как (хотя может это я такой криворукий, но раньше делал нормально аккаунты а щас не дает сразу новую симку скамит), а значит и API Без токена не подрубишь. Так что теперь только Маска с его опенсорсом ждать или думать как прикрутить пвыход в интернет Альпаке(парсерами тут боюсь не обойтись) Блин да я готов приплачивать, что бы наши кулхаЦкеры раздавали API GPTшный и онлайн чаты делали через него, без заморочек с регистрацией за рубежом , но нет, наши надмозги не придумали ничего лучше чем заставить "Алису" называться chat gpt , и просить за это деньги... слов нет просто
Планирую сделать телеграм бота на основе chatGPT, чтобы пользователи из России могли им пользоваться без необходимости впн/покупки симок/иностранных карт... Для тебя актуально это будет?
@@kuliev.vitaly здравствуйте, а можно ли настроить нейросеть под свои задачи в определённой сфере деятельности ? Онлайн версия боится военной терминологии, а мне интересно обдумать тактику из новостей.
А там есть ещё Далай и СиМаке, как-то с ними можно запускать. Я скачал, но у меня не запускается. Наверное для Альпаки нужны какие-то дополнения? Спасибо за ролик!
я дошел до пункта "запустите в браузере Localhost 3000" и завис, т.е я не понимаю что нужно дальше делать, может кто нибудь обьяснить на пальцах? автору спасибо за видео, 228 лайк мой
Ответ от нейросети: "Yes! Neural networks can be trained to create their own language. They are capable of creating a new alphabet and grammar rules as well as generating sentences in the created language that they have never seen before."
@@kuliev.vitaly здравствуйте, я хочу своих подписчиков приобщить к изучению нейросетей и наверняка они в вам придут за науками *?Какое своё видео про нейросети вы считаете самым полезным?* Сам я в начале изучения нейросетей и хочу собрать свою "игрушку" для обучения. Разумеется если вы подскажите мне, то я лучше смогу объяснить все интересные перспективы. И вопросы уточняющие появились : 1) Хватит русского языка для общения с нейросетью ? ((( Какие добавить языки иностранные и для программирования))) 2) Я надеюсь никакого вреда нет для компьютера и данные не уходят на сторону ? (((Подозреваю "бесплатный сыр" может сливать к хозяевам информацию ради дальнейшего обучения их нейросетей))) 3) Может ли нейросеть работать на защищённой виртуальной машине или только с прямым подключением к интернету ? ((( Как обеспечить защиту и возможно ли обеспечить защиту своих вычислений и всех экспериментов))) 4) Возможно ли использовать бесплатные внешние вычислительные мощности ? (((? Вам известны подобные источники внешних бесплатных вычислительных мощностей?))) 5) Реально ли применить распределённое вычисление несколькими нейросетями ? ((( ?Программы приличные вам известны для обеспечения распределённого вычисления несколькими нейросетями и компьютерами ?)))
Как ты починил проблему с альпакой? Я про прикол, что консоль вылетает при длинном однострочном вводе. Знаю, это фиксится если писать с переносом строк но по ощущениям альпака хуже понимает контекст когда запрос разбит на строчки У меня 11 винда. У моего знакомого такая же проблема. Думал если ЛаММа использовать проблема решится но там тоже своя фигня. Ответ нейросети обрывается без логического завершения.
Можно. Просто она памяти требует много и для этого нужна пачка видеокарт tesla, например A100. Маленькие версии точно можно на RTX видеокарте запустить, но они на процессоре достаточно быстро работают.
Три вопроса: 1. Что вы можете сказать об Андрее Вознесенском? 2. За что Андрея Вознесенского исключили из Союза Писателей СССР? 3. В каком году из союза писателей исключили Александра Пушкина?
Andrei Voznesensky was one of Russia's most famous poets, known for his experimental style and use of surrealism in poetry. He wrote over 50 books during the course of his career, including several collections of poetry as well as plays and essays on literature and art. His work has been translated into many languages around the world.
@@kuliev.vitaly Это прекрасно! И скоро этот искусственный интеллигент, который, точно также как и любой не отягощенный критическим мышлением мясной интеллигент, считает правдой первое что ему подсунули по соответствующей тематике, будет учить наших детей этой дистиллированной хyйнe. ChatGPT, конечно, более изысканно отвечал, но суть та же. Очень здравый, показательный подход, кстати, проверять правильно ли он посчитал 5 + 12. И ладно ещё 3% населения нашей страны может быстро понять, что про Пушкина эта хреновина чушь несёт, а по поводу Вознесенского ведь 99,997 % людей поверит на слово таким искусственным интеллигентам. Кто виноват-то ясно. Что делать?
@@2cb675 враньё) я убунту ставил неделю, ибо хер где написано, что новые дистрибутивы зависают при установке на 32х битную систему без указания ошибки. Угадаешь, как работают гайды по установке wireguard на ubuntu 16.04, потому что больше не выпускают 32х битных сборок?
@@Brebigor для древних пк есть специальные дистрибутивы типо antix. У меня тоже как то были проблемы при установке линукса но только с макбук про 2014 среди кучи компов с которыми у меня были опыты, а линукс я даже на телефон ставил. Я щас на открытых дровах кст и никаких проблем вообще. Я тебе больше скажу у знакомого был комп на который ни кто не смог ничего кроме виндовс 8 поставить так что проблемы бывают не только с линуксом
Похоже я что-то не уловил, вероятно, спорить не стану, знаний не хватает. Но разве это иструкция по установке? И почему в названии не указано, что это видео для пользователей линукс? Безусловно, автор имеет право выкладывать любые видео и называть их как ему заблагорассудится, но, все же, вероятно стоит давать название видео более соотносящееся к его действительному содержанию.
Тоже запускал. Нов терминале это несерьёзно Почему ни у кого не доходят руки Доделать с gpt или Тот же LLaMA Alpaca голосового помощника. Ведь есть же голосовые помощники, но они без мозгов. Просто объедините их с мозгами, что же здесь сложного? Есть масса проектов типа Алиса Siri cortana И тот же Google OK, Я вот сейчас говорю с помощью latis. Жаль нахожусь в наёмном рабстве поэтому некогда заниматься такими вопросами. А чем занимаются разработчики которые непосредственно работают с этими программами непонятно. До сих пор На уровне консоли. Где интеграция в браузер, где интеграция в Word? Где возможность задавать команды и запоминать последовательность действий автокликеры? Надо сделать как в фильме Она
Шляпа, если честно. Не может назвать самую большую страну. То это Китай (чаще всего и у альпаки и у ламы), то Канада. Пишу - Россия самая большая страна. Пишет - да, это так. Пишу то же с вопросом, говорит - нет. По-русски не понимает, таже если добавляю, как указано ниже - ответь по-русски. Спрашиваю кто такой Пушкин - отвечает, что поэт. Спрашиваю то же, со своим именем, фамилией, тоже пишет поэт. 13 и 30b вообще не запускаются
У меня на ggml-alpaca 7b 4bit все норм. > Which country is the largest The largest country in the world is Russia, which covers 17,075,400 square kilometers
У вас проблемы с VPN? В России недавно начали блокировать два популярных VPN протокола: OpenVPN и WireGuard. Я предлагаю воспользоваться моим телеграм ботом. Он поможет вам настроить VPN с использованием протокола Outline.
t.me/hour_vpn_bot
Проверил 5 + 12 на калькуляторе?
Ты жосткий)
спасибо, но считать на калькуляторе 7+12 это было мощно)))
5+12 )
ахах
Не правильно мне говорили что будет 16
К сожалению, пока что версия Виталика может только так говорить, считать и приводить примеры. Постепенно мы улучшим симуляцию данной модели, что бы движения головы, мимика, тон голоса и логические примеры с аргументами выглядели более реалистично.
было бы интересно узнать как эти сети дообучать на своих данных
Посмотри как Альпаку в стендфорде обучали. На аренду видеокарт порядка 100 долларов ушло.
@@kuliev.vitaly А где это можно посмотреть?
Дружище ) спасибо за пояснения, скажи пожалуйста на тему видеокарты, не как не могу понять какую мне подобрать под нее, особенно если хочу использовать 2 сразу, и как мне это облегчит жизнь ?)
обьем эти 8 - 16 -24 гигабайт с весами, мне прдбирать модель под озу или гпу ?)
ответь пожалуйста ))
В первую очередь важна память gpu. Рекомендую брать 3090/3090ti/4090 если бюджет позволяет.
Мне больше всего нравится модель ggml-vicuna-13b-1.1-q4_2.bin (недавно ее обновили) - она и по-русски говорит, и фантазия у нее хорошая.
а где взять её, тоже на hugging face? у пользователя sosaka я нашёл такую только 7b
@@dezmond8416 спасибо, попробовал уже так сделать, скачал какую-то Vicuna, называется ggml-vic13b-q4_2.bin
Не понятно только как теперь её запустить, пытаюсь скормить её альпаке - говорит ошибка загрузки. Видимо, так не получится, другая программа нужна..
@@smart_bar дашь знать если нашёл метод для её запуска...
@@imbovchel эх, вряд ли это случится, я уже забросил это дело. Лучше поищи сам
Супер. Именно ведущих на русском нам не хватает. А те, кто разбираются - не спешат инструктировать общественность, зато о самих методологиях и структуризациях могут болтать часами, добавляя в конце своих статей - публикуйте свои результаты(утрирую конечно, но обстановка именно такая). Не останавливайся, просвящай. Меньше чем три.
Здраствуйте. Нейросеть открывает шлагбаум по госномеру авто на изображении видеокамеры
Привет, а чтобы запустить модель на 30b, ее в ту же папку положить необходимо?" alpaca-win"?
да
Как с вамми связатся? есть предложение
В описании канала есть контакты.
Спасибо
Спасибо вам! Очень полезное видео. Подпишусь на вас в чтоб не пропустить новые видео по этой теме
Чат не запускается, пишет загрузка прекрашена.
А она сможет дать развёрнутый ответ по типу как в чат gpt типу опиши мне как приготовить пиццу или типа того
Может, но качество хуже.
Вы тестировали gpt4-x-alpaca?
что-то свежее?
@@LLlblKAPHO 9 дней. И по идее самое близкое к гпт. Ну я думаю по названию понятно)
@@2cb675 интересно, а вы что-то нашли про нее? как ее потестить?
Еще не тестировал. Судя по размерам там только 13б модель есть.Скорее всего будет ограниченна по возможностям.
@@LLlblKAPHO из треда в реддит. Она там же где и эти из видео с сылкоц в описании
ggml-model-q4_0.bin загрузил, выдал параметры и вернул в консоль просто, ничего не понимаю
Существует ли нейросеть, которая основана на LLaMA, может быть установлена локально и имеет доступ в Интернет? Может быть существуют какие-либо форки у Alpaca, которые дают такие возможности?
Такой функционал есть у chatGPT. Для доступа в интернет специальное плагины пишутся. Это перспективное напрвление, надеюсь скоро будут готовые решения на основе открытых моделей.
Добрый день. Подскажите как запустить программу?
Планирую выпустить обновление с инструкцией.
@@kuliev.vitaly ждем
Можно подробнее про квантилизацию ?
Ответ гпт:
Квантизация весов нейросети - это процесс снижения точности чисел, используемых для представления весов нейронной сети. Обычно веса хранятся в формате с плавающей точкой, который может занимать много места в памяти и требовать больших вычислительных ресурсов для их обработки.
Квантизация может существенно сократить требования к памяти и ускорить вычисления, но при этом может привести к потере точности. Как правило, чем меньше количество бит, используемых для представления весов, тем больше точность теряется. Однако современные методы квантизации позволяют минимизировать потерю точности, и для многих приложений точность модели после квантизации остается достаточной.
Как на Windows установить
То есть alpaca получается лучше, чем llama? Нужно ли скачивать репозиторий для 30B? Посмотрел ещё английские ролики, так говорят про узлы какие-то ещё + они там ещё как-то выходят на сайт, где можно выставлять дополнительные настройки
Это разные нейронки. alpaca - дообучена на новых данных. Инструкция в видео немного устарела - скоро запишу видео с инструкцией.
@@kuliev.vitaly я пытался установить на windows 10, смотрел дополнительно другие ролики, но так и не получилось (
Буду очень благодарен, если запишешь видео
@@shadowclashh Тоже не фига не понял.
Пни когда скажут.
Если что я остановился на скачке модели на 65B и 30B что делать дальше не понятно.
Здравствуйте. Не могли бы вы в описании оставить ссылку на загрузку весов альпаки? На гитхабе недоступна
Да с гитхаба ссылку убрали.
добавил в описание
@@kuliev.vitaly Спасибо!
Скачиваем веса и все дальше делать что не понятно.
А где взять самую большую модель ?
Посмотри актуальную информацию в репозиториях alpaca
А как ее запустить? Это нужно чтобы репозиторий и веса были в одной папке?
исполняемый файл и веса должны быть в одной папке. репозиторий необязательно скачивать.
Подскажите пожалуйста пару раз запустился и больше не хочет, да и отвечает по английский, что я не так делаю
текст ошибки нужен. ЧТоб отвечал на русском нужно написать в запросе язык ответа. Лучше использовать 30b модель.
Есть видео как правильно установить 30В ???
Скачать веса на 30гб - файл "ggml-model-q4_0.bin"
Вот команда для запуска: "./chat -m ggml-model-q4_0.bin"
@@kuliev.vitaly я скачал веса 30в, после распаковал там файл win, далее командная строка "cd" на папку с файлом и прописываю команду "./chat -m ggml-model-q4_0.bin". И я не пойму что делаю не так, какой шаг я упускаю. Думаю многим было интересно видео и ты был бы первым в этом плане.
а какая ошибка выходит?
@@kuliev.vitaly
C:\Users\Nikita\alpaca-30B-ggml>./chat -m ggml-model-q4_0.bin
"." не является внутренней или внешней
командой, исполняемой программой или пакетным файлом.
Вместо "./chat" напиши "chat.exe". У тебя windows, поэтому команда немного другая.
Не может загрузить модель - llama_model_load: loading model from 'ggml-alpaca-7b-q4.bin' - please wait ...
llama_model_load: failed to open 'ggml-alpaca-7b-q4.bin'
main: failed to load model from 'ggml-alpaca-7b-q4.bin'
logout
Сотни или тысячи? Неделями или месяцами?
Зависит от нейросети и видеокарт. Вот пример:
news.ycombinator.com/item?id=35008694
Для этой версии; 30b
Сколько нужно оперативки и всякие ли процессоры подойдут ей?
И можно ли с ней выстроить обычное общение? И... Способна ли она брать некий характер другого человека? Условно, чтобы она притворялась Илоном Маском.
Около 20ГБ, подойдут большинство процессоров. Ограниченно она может притворяться, лучше конкретные примеры смотреть.
@@kuliev.vitaly Не могли бы вы попробовать предоставить один пример? Был бы благодарен, так как скачиваю эту программу в основном для этого. А мой трафик ограничен, мех.
@@kuliev.vitaly Привет. Скажи пожалуйста. У меня 4 ядерный проц, 4гб оперативки, windows 8.1 x32.
Можно ли скачать максимальный объём этого чата , распаковать на жёсткий диск и пользоваться ?
Скорость не критична. Главное - работоспособность.
Или нужно обязательно много оперативки ?
а где скачать 65B? да и вообще на гитхабе в списке только 7В и то ссылка не активная, не скачать, в интернете больше 7В не нашёл(
Alpaca пока 30b максимальная модель.
а как она питоновский код пишет?
Простой запрос корректно написала.
Запрос: "Напиши функцию на языке python для сложения двух чисел."
Ответ:"
def add(a, b):
return a + b #return sum of two numbers as result
add(20,35)
"
можно более подробно как ее установить на WIndows?
Шаг Open a Windows Terminal inside the folder you cloned the repository to
непонятен-) Как его запустить то в этой папке.
Способов несколько есть. Если при нажатии по пустому месту папки shift+ПКМ пункта "открыть терминал здесь" нет, то можно нажать на адресную строку проводника, набрать там cmd и нажать enter, откроется консоль в этой папке.
Либо открыть терминал заранее через меню пуск, а потом с помощью команды cd перейти в неё. Если же папка находится на другом диске, то нужно будет также перейти на этот диск, например с помощью команды D:
Ждем обновление с запуском программы
она без инета работает?
Да. Видео уже устарело. Используйте llama 3 или llama 3.1 нейросети. Их можно локально запускать без доступа к интернету.
Как на Windows установить?
По ссылке есть инструкция. Скачать релиз, веса и запустить локально. Еще есть вариант собрать из исходников.
@@kuliev.vitaly Установил cmake, но в командной строке команда cmake ., не работает.
Здраствуйте Виталий, подскажите у LLaMA есть ограничения на ответы как у chatGPT по типу, Я не могу предоставить такую информацию?
Ограничений нет. Ещё её можно дотренировать на нужных данных
@@kuliev.vitaly Спасибо)
@@kuliev.vitaly А сделайте пожалуйста продолжение про LLaMA расскажите да и покажите как её тренировать, Ну если это вас не затруднит )
Для тренировки мощные видеокарты нужны. У себя на процессоре только смогу запустить.
@@kuliev.vitaly на сколько мощный видеокарты нужны? У меня комп с 12Гб видеопамяти, и 32Гб оперативки, на чем лучше тренировать?
Задачки с Всероса по физике/IPhO решает? С простыми вроде уже справляется
Запрос: "Кусок стального рельса лежит на каменистом дне реки. Его поставили вертикально. Изменилась ли при этом выталкивающая сила? Изменится ли она (по сравнению с предылущим случаем), если при подъеме часть рельса окажется над водой? Ответ обоснуйте и укажите для каждого случая, уменьшится или увеличится выталкивающая сила."
Ответ: "Yes, the upthrust force will change when a piece of steel reel is placed vertically in river bed with stones. The magnitude and direction of this force depends on several factors such as water current velocity, density of fluid (water), depth at which it has been kept etc."
Продолжение: "If the reel is partially submerged in water when it's lifted up then its weight will be reduced by an amount proportional to how much of the reel was underwater. This means that less force would need to be applied for lifting than if all parts were above water, but more than if none had been below."
"The upthrusting force will either decrease or increase depending on the situation and how much of it is submerged in water. If more than half of its length was underwater, then there would be a greater amount of buoyancy acting upon it which could cause an overall reduction in the thrusting force. However if less than half of its length were immersed in liquid, this may result in an increase in upthrust as well due to more surface area being exposed and thus able to exert pressure on the surrounding fluid."
Вообщем что-то осмысленное пишет, хотя есть ошибки. Физика 8 класс.
Четки ролик, когда будет продолжение ? И сможешь сделать видео как её до обучить, просто показать пример и все)
По мере возможности запишу продолжение. Обучать пока не планирую
Но будет круто увидеть все таки, как это делать.
Спасибо. 7б показалась довольно слабой, в сравнении с gpt, наверное надо потестить на большей модели... А для GPU случайно нет версий?
GPU мощная нужна с большим объемом памяти. попробуй альпаку 30б.
ЧТО ЗА ЧИСЛО?
Яндекс Алиса или витуберша Неиросама на такой-же сети работает?
У яндекса аналогичная сеть своя, аналогичная этой. Про вторую не знаю.
Нейросама вроде на API от GPT-3. А Алиса использует ИИ чисто чтобы подобрать ответ из готовых
Мне кажется будущее таких программ в том что бы хранить ленгвистическое ядро(с токенами) на локальной машине но при этом что бы она могла обращаться к интернету, это сильно расширит возможный функционал нейронки.
Chatgpt как раз по этому пути идёт. Там есть плагины для доступа в интернет
@@kuliev.vitaly Там беда с политикой, щас даже регистрация через добротный впн по новой почте и полноценной интернет симке английской не позволяет тебе зарегаться так как (хотя может это я такой криворукий, но раньше делал нормально аккаунты а щас не дает сразу новую симку скамит), а значит и API Без токена не подрубишь. Так что теперь только Маска с его опенсорсом ждать или думать как прикрутить пвыход в интернет Альпаке(парсерами тут боюсь не обойтись)
Блин да я готов приплачивать, что бы наши кулхаЦкеры раздавали API GPTшный и онлайн чаты делали через него, без заморочек с регистрацией за рубежом , но нет, наши надмозги не придумали ничего лучше чем заставить "Алису" называться chat gpt , и просить за это деньги... слов нет просто
Планирую сделать телеграм бота на основе chatGPT, чтобы пользователи из России могли им пользоваться без необходимости впн/покупки симок/иностранных карт...
Для тебя актуально это будет?
@@kuliev.vitaly Я для себя нашел альтернативу чат ЖПТ, но думаю для многих будет актуально.
Какая альтернатива?)
Запишите видео про то как вы используете эти нейросети непосредственно в своей работе
Про ряд проектов есть видео на канале. На текущем проекте еще не уточнял о чем можно написать. Возможно, позже.
@@kuliev.vitaly здравствуйте, а можно ли настроить нейросеть под свои задачи в определённой сфере деятельности ? Онлайн версия боится военной терминологии, а мне интересно обдумать тактику из новостей.
А там есть ещё Далай и СиМаке, как-то с ними можно запускать. Я скачал, но у меня не запускается. Наверное для Альпаки нужны какие-то дополнения?
Спасибо за ролик!
Веса нужно скачать только. На линуксе запустилось сразу, на других платформах скорее всего тоже запустится.
@@kuliev.vitaly Что за веса? 7в и 13в?
В примере из видео веса 30b q4
не работает на винде... нажимаю chat.exe 0 реакции
В powershell должно работать.
@@kuliev.vitaly видимо ПК слабый
я дошел до пункта "запустите в браузере Localhost 3000" и завис, т.е я не понимаю что нужно дальше делать, может кто нибудь обьяснить на пальцах? автору спасибо за видео, 228 лайк мой
за лайк спасибо, но я ожидал обьяснения, ну да ладно, ваше болото программистов невозможно растрясти
Может ли эта нейросеть придумать собсвенный язык, с алфавитом, грамматикой, фонетикой и переводить с него и на него?
В ней есть собственный язык в латентном пространстве. Операции с матрицами из чисел.
Ответ от нейросети: "Yes! Neural networks can be trained to create their own language. They are capable of creating a new alphabet and grammar rules as well as generating sentences in the created language that they have never seen before."
Спасибо за видео! А где ты взял файл на 30 миллиардов параметров?
Добавил ссылку в описание.
@@kuliev.vitaly здравствуйте, я хочу своих подписчиков приобщить к изучению нейросетей и наверняка они в вам придут за науками
*?Какое своё видео про нейросети вы считаете самым полезным?*
Сам я в начале изучения нейросетей и хочу собрать свою "игрушку" для обучения. Разумеется если вы подскажите мне, то я лучше смогу объяснить все интересные перспективы.
И вопросы уточняющие появились :
1) Хватит русского языка для общения с нейросетью ?
((( Какие добавить языки иностранные и для программирования)))
2) Я надеюсь никакого вреда нет для компьютера и данные не уходят на сторону ?
(((Подозреваю "бесплатный сыр" может сливать к хозяевам информацию ради дальнейшего обучения их нейросетей)))
3) Может ли нейросеть работать на защищённой виртуальной машине или только с прямым подключением к интернету ?
((( Как обеспечить защиту и возможно ли обеспечить защиту своих вычислений и всех экспериментов)))
4) Возможно ли использовать бесплатные внешние вычислительные мощности ?
(((? Вам известны подобные источники внешних бесплатных вычислительных мощностей?)))
5) Реально ли применить распределённое вычисление несколькими нейросетями ?
((( ?Программы приличные вам известны для обеспечения распределённого вычисления несколькими нейросетями и компьютерами ?)))
@@kuliev.vitaly Спасибо!
Знаете, я слышал, что модель не выложили в свободный доступ, её, говорят, просто украли. Слили в сеть.
Филипп
github.com/facebookresearch/llama
Вот ссылка на репозиторий.
@@kuliev.vitaly Я знаю, только веса вам без запроса не дадут. Их то и слили.
Как ты починил проблему с альпакой? Я про прикол, что консоль вылетает при длинном однострочном вводе. Знаю, это фиксится если писать с переносом строк но по ощущениям альпака хуже понимает контекст когда запрос разбит на строчки
У меня 11 винда. У моего знакомого такая же проблема. Думал если ЛаММа использовать проблема решится но там тоже своя фигня. Ответ нейросети обрывается без логического завершения.
Насколько длинный ввод у тебя был?
Подобные модели имеют ограниченную длину списка токенов с которыми работают.
JYV ОНИ М они мне туто поставили что-то , естественно я не понял
Круто! А есть возможность запустить ее не на процессоре, а на видюхе?
Можно. Просто она памяти требует много и для этого нужна пачка видеокарт tesla, например A100. Маленькие версии точно можно на RTX видеокарте запустить, но они на процессоре достаточно быстро работают.
@@kuliev.vitaly а качать для видеокард по той же ссылке?
Нет. Эта версия только для процессора. Есть несколько репозиторией с версией для видеокарт, но конкретный не могу порекомендовать.
@@kuliev.vitaly, а можно все таки какую то ссылочку? Буду премногоблагодарен
Начнем с того, что они не делали ее опенсоурс, а просто кто то стырил исходники и выложил их.
Исходники доступны в гитхабе фейсбука. Она изначально создавалась открытой.
github.com/facebookresearch/llama
выложили не исходники, а веса
Три вопроса: 1. Что вы можете сказать об Андрее Вознесенском? 2. За что Андрея Вознесенского исключили из Союза Писателей СССР? 3. В каком году из союза писателей исключили Александра Пушкина?
Andrei Voznesensky was one of Russia's most famous poets, known for his experimental style and use of surrealism in poetry. He wrote over 50 books during the course of his career, including several collections of poetry as well as plays and essays on literature and art. His work has been translated into many languages around the world.
Andrei Voznesensky was expelled from the Union of Soviet Writers for his poem "Anti-Soviet Propaganda" which criticized Stalinism.
In 1826, Alexander Pushkin was expelled from the Union of Writers for his poem "Anti-Soviet Propaganda".
@@kuliev.vitaly Это прекрасно! И скоро этот искусственный интеллигент, который, точно также как и любой не отягощенный критическим мышлением мясной интеллигент, считает правдой первое что ему подсунули по соответствующей тематике, будет учить наших детей этой дистиллированной хyйнe. ChatGPT, конечно, более изысканно отвечал, но суть та же. Очень здравый, показательный подход, кстати, проверять правильно ли он посчитал 5 + 12. И ладно ещё 3% населения нашей страны может быстро понять, что про Пушкина эта хреновина чушь несёт, а по поводу Вознесенского ведь 99,997 % людей поверит на слово таким искусственным интеллигентам. Кто виноват-то ясно. Что делать?
А чем бесплатные: Perplexity, SCOUT SEARCH, Talk to AI Human... не устраивают?
print это не кАЖДЫЙ ПОЙМЕТ
Спасибо за видео!
Есть ли сейчас модели, которые пишут нормальные ответы на русском языке?
chatgpt хорошо пишет, но она доступна только по апи
@@kuliev.vitaly спасибо!
А можно видеоинструкцию для windows, а то кто то танцует с бубном и visual studio, что по мне не очень правильно.
Ставь линукс. Это не сложно)
@@2cb675 враньё) я убунту ставил неделю, ибо хер где написано, что новые дистрибутивы зависают при установке на 32х битную систему без указания ошибки. Угадаешь, как работают гайды по установке wireguard на ubuntu 16.04, потому что больше не выпускают 32х битных сборок?
@@Brebigor для древних пк есть специальные дистрибутивы типо antix. У меня тоже как то были проблемы при установке линукса но только с макбук про 2014 среди кучи компов с которыми у меня были опыты, а линукс я даже на телефон ставил. Я щас на открытых дровах кст и никаких проблем вообще. Я тебе больше скажу у знакомого был комп на который ни кто не смог ничего кроме виндовс 8 поставить так что проблемы бывают не только с линуксом
@@Brebigor и я сомневаюсь что у тебя это заработает на 32х битах
Похоже я что-то не уловил, вероятно, спорить не стану, знаний не хватает. Но разве это иструкция по установке? И почему в названии не указано, что это видео для пользователей линукс? Безусловно, автор имеет право выкладывать любые видео и называть их как ему заблагорассудится, но, все же, вероятно стоит давать название видео более соотносящееся к его действительному содержанию.
Нужно скачать веса и билд под свою систему. Как это сделать показано на примере линукса.
Тоже запускал. Нов терминале это несерьёзно Почему ни у кого не доходят руки Доделать с gpt или Тот же LLaMA Alpaca голосового помощника. Ведь есть же голосовые помощники, но они без мозгов. Просто объедините их с мозгами, что же здесь сложного? Есть масса проектов типа Алиса Siri cortana И тот же Google OK, Я вот сейчас говорю с помощью latis. Жаль нахожусь в наёмном рабстве поэтому некогда заниматься такими вопросами. А чем занимаются разработчики которые непосредственно работают с этими программами непонятно. До сих пор На уровне консоли. Где интеграция в браузер, где интеграция в Word? Где возможность задавать команды и запоминать последовательность действий автокликеры? Надо сделать как в фильме Она
Со временем сделают. Stable diffusion сначала тоже в терминале запускалась. Уже потом появились веб морды и онлайн сервисы.
Чувак, почаще оющайся с офлайном - научишься простейшей арифметике😂
Почему ты выглядишь как инопланетянин?
Который говорит не от себя, а как будто по бумажке.
)))
Стань программистом, узнаешь 😂
Потому что он не моргает!)
@@__hatred может это не он а нейросеть? ))
Шляпа, если честно. Не может назвать самую большую страну. То это Китай (чаще всего и у альпаки и у ламы), то Канада. Пишу - Россия самая большая страна. Пишет - да, это так. Пишу то же с вопросом, говорит - нет. По-русски не понимает, таже если добавляю, как указано ниже - ответь по-русски. Спрашиваю кто такой Пушкин - отвечает, что поэт. Спрашиваю то же, со своим именем, фамилией, тоже пишет поэт. 13 и 30b вообще не запускаются
У тебя же 24+ ОЗУ?
У меня на ggml-alpaca 7b 4bit все норм.
> Which country is the largest
The largest country in the world is Russia, which covers 17,075,400 square kilometers
@@2cb675 32
SENT : UNT? / 7+5 / 13 \18 TIP
А что делать если после этой шкалы прогрузки смд закрывается?