Михаил Вам респект. Конечно нужны ии ассистенты для школы и учителей в частности. Ассистенты на базе данных самой школы, данных учебников по учебным программам, методичкам и внутренним наработкам самих учителей и т.д. Ассистенты нужны не только подключенные к сети, но работающие офлайн, не ресусно ёмкие. Всю школу усиленно направляют в Сферум, значит решения необходимы и для него и других российских и белорусских ресурсов.
Василий, абсолютно верно. Я сейчас работаю над таким решением, которое позволит буквально переводить все школьные учебники в специальную базу данных, с которой будет работать ИИ ассистент. Это я думаю запустить в самое ближайшее время.
Вы просили поделиться идеей, которую хотелось бы реализовать. Секретари судебных заседаний в судах каждый день печатают протоколы. Их так много, что приходится приходить на работу в субботу и воскресенье. Поэтому хотелось бы такую связку: берем аудиопротокол, улучшаем звук с помощью Adobe, затем транскрибируем с помощью whisper, и в конце chatgpt, настроенный как юрист и учитель русского языка, переписывает полученный после транскрибации текст грамотным юридическим языком
Это очень даже реально сделать. Только транскрибацию нужно делать локально, чтобы данные не уходили на другой континент. Буду пробовать такую локальную ИИ в скором времени
@@MrDewiar Тоже вчера столкнулся с такой проблемой Но мне надо было видео с tiktok транскрибировать. Причём с украинским языком. Проигрался куча сервисов Или платные или демо или интерфейс вырви глаз. Можно было бы сделать для начала чтобы данные уходили куда-то на сервер Но при этом красными буквами предупредите чтобы не загружали конфиденциальную информацию. Часто бывает Нужно проработать и открытую и негде
вопрос не совсем по теме. использую бесплатную версию перплексити для анализа текстов. и в простой версии и в про количество символов с пробелами ограничено 7852. может кто подскажет в чём дело? и как там в платной версии?
Перплексети не работает как личный ассистент, через сообщений 25 он путаеться, терчет контекст, тупит, и это на про версии! Сырой инструмент, я купил про , не для того, чтобы на мне обучади нейросеть, точнек для выполнения задачь, а не для того,чтобы поиграться!
В отношении перплексити я заметил, что все делятся на 2 крыла - одним он очень нравится, вторые его не переносят. По поводу путаницы, там работает Llama внутри у них, она не очень хорошая для русского языка, и да, путается. Я подключил их официальный API, на саму их модель никак повлиять не могу.
Тут есть проблемные моменты. Сейчас дозваниваются молодые цигане из Германии, я как-то пытался вычислить их. И они отлично дружат с нейросетями для синтеза голоса.. т.е. они сами используют уже часто голос, который создали через ИИ.
Пробовал ваш девиар,. Это хорошо, что такие как вы пробуют новые инструменты, но...задал вопрос в вашем приложении модели нейросети, у которой должен быть поиск в интернете, модель ответила, что поиска то нету....пробовал на прямую, не через ваш сайт, поиск есть....для себя делаю вывод...красивое оформление сайта, однако использование ллм моделей лучще на прямую! Без посредников.... Тоже самое приминимо к рещению задачь, на вашем сайте выбранные модели гораздо хуже справлялись, чем эти же ллм сети , если работать напрямую, ..
Александр, очень странно. Если в Девиар был выбран Перплексити, он должен хорошо искать в интернете, я использую их официальный API. В ближайшее время я сделаю функцию, которая позволит любой модели искать в интернете.
Михаил, а протестировать телеграмм бота с настроенным ИИ ассистентом получается можно только пополнив счет? Даже отсутствует пробный период в 10 минут (с бесплатной ИИ) ?)) Создала быстро ассистента, присоединила к боту и он сразу хочет кушать:)) в нем только рекламные менюшки бесперебойно работают:)) видимо дальше нужно кормить как тамагоча в детстве) чтобы посмотреть в деле)
Создайте персонажа доктора, который будет давать развёрнутые ответы по симптомам, задавать наводящие вопросы, чтобы точнее назначать лечение и ставить диагноз. Оценивая фото, сканы рентген, данные анализов. Назначать лечение, рекомендации. Оценка состояния по фото как больного участка тела так и лица например. Вообще идея максимально сделать виртуального врача, который например мог по фото сыпи оценить ее с фото и сопоставить все жалобы и симптомы, задать вопросы, что ему ещё необходимо для постановки правильно диагноза и уже на базе этого, диагноз, лечение исходя из данных пациента и рекомендации.
Хорошая очень идея. Проблема в том, что большим ИИ запрещают сейчас отвечать на вопросы, связанные с медициной, и с юридической онформацией. Я буду пробовать решать это на локальном ИИ. Обязательно нужно сделать хорошего ИИ врача, и хорошего ИИ юриста.
@@MrDewiar есть вроде менее зацензурируемый, вроде джемени. Для хакеров создали haker gpt там сняли цензуру на взом и программирования, ИИ думает при этом что он специалист по кибер безопасности. Вероятно есть методы обхода цензуры.
@@MrDewiar Добавлю к этому списку... и отличного финансового астролога. Я сам делаю ASTRO llm, которая будет лучше выполнять свои функции, чем Блумберг Терминал с его платной подпиской.
@@astrofinans Да, это хорошая идея. Единственное, здесь уже на любителя. Сам я не верю в астрологические данные. Сколько не проверял на себе, к сожалению срабатывает примерно с той же вероятностью, с которой можно прогнозировать что угодно случайным образом. Не нашел закономерностей.
Здравствуйте. Спасибо за добрые слова. Здесь релевантная информация понимается не в плане ее верности, а в плане соответствия релевантности выдачи классической поисковой системы. Основной недостаток всех ИИ моделей - они не умеют обращаться к глобальной сети за свежими данными, а эта модель умеет это делать. В этом единственный плюс. Многим Перплексити нравится, многие пользуются. Захотелось ее встроить в свои решения
Здравствуйте, в теме LLM и прочего еще новичок. Как их юзать и локально например развернуть уже знаю) например Mistral 7b ....! А подскажите как же их обучают? Через какой софт...
Здравствуйте. Я тоже думал как это делается, нашел способ. Есть технология RAG - создание для LLM отдельно базы данных, с которой LLM взаимодействует. Мы не саму нейронку обучаем, а даем ей мгновенную библиотеку данных в пару для работы.. это все делается на локальном сервере. Я сейчас пишу решение, постараюсь его показать в ближайшем будущем. И по поводу Мистраль - обратите внимание на Мистраль Немо - она получше, ее делали совместно с Нвидиа.
@@MrDewiar спасибо за инфо!!! А вот ещё что не ясно, бывает смотришь на huggingface модельки той же Mistral, а там как будто разные сборки от разных людей...в описаниях написано например: мол эта сборка прилизала оригинальную модель mistral путем llama. Это получается просто над самой оригинальной моделью сделали прослойку (преднастройку) кастомную...типо чтоб точность выше была?
@@alexanderraf5553 Может быть там имеется ввиду не llama, а ollama? Это один из интерфейсов для развертывания локальных ИИ. По сборкам от разных людей тоже встречал такое, но пока сам не видел примеров, как это они делают.. выглядит странно.. нейросеть обучается на 100 000 видеокартах год, а потом какой-то человек делает это один на простом железе... что-то здесь не сходится
@@MrDewiar разобрался со своим вопросом) там надписи про llama.cpp типо квантизацию модели прошли(.gguf). Это типо квантизированные модели -которые адаптированы к маломощному железу и может часть нагрузки с gpu на cpu переложить и с vram на ram. А если б не guff и не llama.cpp, то тогда простецкая моделька бы требовала 24 гиговую топовую видюху. Понял так
Я пока сделал промежуточную версию, вместо иконок добавил небольшую инфографику в надписях.. эта инфографика использует отдельный иконочный шрифт, что экономит ресурсы сервера не требуя их генерации с нуля
@@2742-z5x Не смогу ответить на Ваш вопрос. У каждой ИИ свой метод подсчета. При этом на английском языке это одни цифры, на русском - абсолютно другие (их больше почти в 2.5 раза)
Перплексити, однозначно. Запрос по-английски даёт более продвинутые западные источники. Явно работает авторитет источников. Русский ответ слабее, на "нашинских" источниках.. Яндекс только недавно стал индексировать научные ресурсы, типа сайберленинка. Ответы Яндекса - ересь из соцсетей и околонаучных статей.
Не всегда. Если Вы начнете проверять факты, удивитесь, на сколько много и часто он выдает недостоверную, не актуальную информацию.. и это нормально, это особенность LLM
Здравствуйте. Телеграм бот работает, Вы можете это сделать сегодня ua-cam.com/video/02sYZO5w9kw/v-deo.html Что касается приложения, наши решения работают в браузере. Браузерное решение позволяет сохранить его на Вашем телефоне как приложение, мы используем PWA технологию, когда это и сайт и приложение одновременно
Кто шарит в этой теме не называют нейронки искусственным интеллектом. Ну и про эту вашу ламу, которую крутят на одной домашней игровой видюхе, типа 14b. Что там может конкурировать с фермами видеокарт в коммерческих нейронках. Смысла ставить её вообще нет, разве что для баловства. Хотя llama 3 80b может и что то может, но куда её ставить?
Хотя заказов сейчас очень много от бизнеса по нейронкам, проектов буран. Уже внедрил в большой компании ассистентов, чаты и голосовые для телефонии, так же расшифровку и обработку тел звонков, аналитику. Вообщем поле не паханное. Но все через API gpt4. Лама в бизнесе никому не интересна.
Llama 14b не существует в природе. Есть 8b и следующая уже 70b.. во всяком случае в Ollama.. 8B никуда не годится, т.к. в ней мало русского языка, плохо работает с ним. У меня есть опыт успешной работы с локальной ИИ на одной видеокарте Nvidia 24Gb.. и смысл есть, квантованные модели 27B справляются с большинством стандартных задач.. что в рамках любого закрытого решения для любого предприятия очень подойдет. Так что с Вами здесь не соглашусь, сам прошел этот путь.. имеет право на жизнь)
Я вижу, что Вы имеете опыт.. только вот не понятно, как Вы работаете с приватностью данных.. любое предприятие имеет ограничения в этом.. а Вы, получается, все эти данные отправляете на другой континент.. это может стать проблемой в будущем. По обработке телефонных звонков интересно, если Вы поделитесь как Вы это делаете.. я думаю, Вы делаете на основе Wisper.. но он же медленный очень.. что можно на нем запускать в GPT4?
@@MrDewiar я пробовал транскрибацию на моделях из huggingface, количество бреда было до 30%. Посмеялись все от души. Потом перевёл код на тиньковский войскит. Тинькофский транскибатор показал очень хорошие результаты. Которые и направляю в gpt4. Разговоры никакой ценности для МИ6 и АНБ не представляют. Там нет личных данных. Все сделано на python, крутится в мульпроцессах и обрабатывается до 2-3 тысяч разговоров в сутки. Повозился с этой темой конечно знатно, получил без ценный опыт разработки под ai, но и эффект на заказчика бомбичнский. Сейчас работаю над умным секретарём, который принимает звонки и отвечает на вопросы клиентов на основе данных, которые в неё загрузилм, может переводить звонки на отделы и сотрудников, фиксировать просьбы что то передать в нерабочее время. Это очень интересно.
@@MrDewiar по поводу обработки звонков, все делается не в реальном времени, а после завершения звонков, прога ходит по таблице успешных звонков, загружает mp3 разговоров, где в одном канале клиент, в другом менеджер и транскрбатор понимает где кто и помечает клиент-менеджер и нейронка потом тоже понимает контекст. Все это текстовое загружается в БД и передается в обработку нейронкой, которая проставляет теги темы разговора, оценивает разговоры на конфликты, вежливость, эффективность и прочие параметры. Результаты попадают в карточки клиентов, все записи, расшифровки, краткие пересказы, теги, оценки. Так же данные падают в отчеты для руководителей. Если нейронка выставила низкую оценку, то запись подсвечивается в таблицах и ее уже оценивает лично руководитель, что там случилось с клиентом. Еще ищем упоминание новых продуктов компании, было ли упоминание в разговоре с клиентом. Эта тема заказчику зашла прям на ура.
Вы абсолютно правы! Вначале они использовали 3.5 (но старались не признаваться в этом), но потом к ним пришли инвесторы, и они приняли решение перейти на открытую модель от Мета.
Вы просто используете для себя. А можете ли Вы свою GPT заставить работать на Вашем сайте, заставить работать как личный телеграм бот? Можете регулировать в нем уровень креатива? Контролировать длину контекста беседы? Это можно делать только по API, а любой API платный...
@@MrDewiar у меня нету сайта да если бы даже был зачем он мне там? Да я его для себя использую :) он мне в работе очень помогает. А как его и зачем по-другому использовать? Он вроде как и создавался для личного использования
@@Art-_-life Ну простой пример, телеграм.. чтобы никуда не заходить, а иметь своего же помощника в привычном браузере.... а еще.. если у Вас есть группа в том же телеграме, он может выполнять функции Вашего личного администратора... Но это да, далеко не всем это нужно
@@alexeykozlov7004 да с российского ип адреса. уже давно давно сижу. на этом сайте EasyChat - EasyChat там половина на японском но мне это мало чем мешает. ну и иногда глючит так как пользователей много. зато платить не надо. gpt 4o mini - gpt 4o free работают остальные чаты не работают они видимо платные ну или я просто чего то не понимаю
Главная проблема Перплексити - он отдает сильный приоритет западным источникам. Которые, мягко говоря, очень не всегда говорят правду, слишком предвзяты. Поэтому получать актуальные новости и аналитику из интернета лучше какими-то другими инструментами.
Мне показалось, что на сайте Девиара при общении с каким-нибудь ИИ, то есть на странице беседы нет возможности быстро написать разработчикам какой-нибудь фидбек, идею или багрепорт с опцией указания текущей беседы в качестве примера. Если проект находится в стадии непрерывного тестирования и улучшения, то возможно такой источник информации мог бы кому-нибудь пригодиться.
К сожалению российские часто не говорят правду вообще. Пропаганда (любого государства) сама по себе штука предвзятая. Порой читаешь новость в первоисточнике про какого-то робота или технологию, а к тому времени когда она появится в прессе России, там уже такой дичью, политикой и мистикой иногда обрастает, что смотришь и не понимаешь. Как "то"? превратилось в "Это". Смысл бывает перевернут с ног на голову. Ну этим все грешат сейчас. Так-что лучше всегда копать в сторону источников. Как никак в эру ИИ можно генерировать фейки любого типа, чем все сейчас и занимаются.
@@ivanshipilov4265 Да, и с этим сложно работать.. даже у каждой компании своя есть повестка или вектор.. в итоге, информация всегда является не нейтральной.. не позволяет самому принять решение, а навязывается принудительно.. Как решать это на уровне ИИ пока не понятно
@@MrDewiar Вполне понятно - избегать моделей, у которых предвзятость зашита на уровне системных промптов, которые нацелены фильтровать информацию в угоду одной стороне, отодвигая логику. Большинство взрослых моделей вполне способны оценивать достоверность информации после многофакторного анализа, а не тупо передавать точку зрения первых попавшихся аналитиков, чьи труды были использованы при обучении.
Михаил, к Вам со всем уважением. А Ваш директор или кто он Вам!? Печаль, товарищ. Зря только потратил время на него. Я не знаю, какая у вас политика. Но с ним говорить о бизнесе - это только.......... Если есть возможность именно с вами наладить диалог по проектам, то было бы хорошо.
@@MrDewiar Потому что в сети нет маркировки степени доверия источнику информации. Раньше он определялся просто по рейтингу или раскрутке сайта. Но способ уже давно не актуальный. А с учетом появления ИИ вообще не рабочий. Если следовать логике обучения ИИ если 100 условно скажут 1+1=3, то так и будет считать. Даже если информация ложная.
@@ivanshipilov4265 абсолютно верно! И здесь если только отбирать достоверные проверенные ресурсы, и заставлять ИИ работать в первую очередь с ними. Но эта работа очень непростая
У нейросетей нет внутренних часов они из за этого путаются даже джипити фантазирует если ему не указать на то что нужно искать данные в интернете актуальные
Тут диаметрально противоположные мнения. Одним она вообще не заходит, вторые от нее в восторге. Много кто писал добавить ее.. я все думал, что лучше сам сделаю нечто подобное.. но сейчас в процессе написания кода, понял, что они довольно хорошо справляются с задачей. На сколько я знаю, сегодня они лучший поисковик с ИИ. Хотя вот-вот выйдет GPT SEARCH.. будем наблюдать
@@MrDewiar пробовал писать промты на английском и на русском. Без разницы, ищет как бог на душу положит и часто не то, что просишь. Gemenai и то лучше с задачей справляется. В обоих случаях искал информацию по гражданскому кодексу РФ.
Все что вы делаете - просто потрясает!!! Невероятный талант!! Желаю вам Михаил неиссякаемой энергии и внушительной позитивной отдачи от ваших усилий!!
Оксана, спасибо Вам большое за добрые слова!
отдельный лайкос за Техно Коммунизм
Благодарю.. будем строить))))
Ребята, вы молодцы! Шикарный сервис! 👍
Спасибо Вам!
Очень круто, ребята, развивайтесь!
Спасибо за добрые слова
Мишенька спасибо вам! Ваши результаты вдохновляют!
Спасибо Вам за такие приятные слова!
Михаил Вам респект. Конечно нужны ии ассистенты для школы и учителей в частности. Ассистенты на базе данных самой школы, данных учебников по учебным программам, методичкам и внутренним наработкам самих учителей и т.д. Ассистенты нужны не только подключенные к сети, но работающие офлайн, не ресусно ёмкие. Всю школу усиленно направляют в Сферум, значит решения необходимы и для него и других российских и белорусских ресурсов.
Василий, абсолютно верно. Я сейчас работаю над таким решением, которое позволит буквально переводить все школьные учебники в специальную базу данных, с которой будет работать ИИ ассистент. Это я думаю запустить в самое ближайшее время.
Супер лайк, Михаил, красавчики ребята! Только попал на это видео, не терпится потестить!
Виктор, спасибо за хорошие слова. Успешных испытаний!
Благодарю за труд и креативные решения!
Вы просили поделиться идеей, которую хотелось бы реализовать. Секретари судебных заседаний в судах каждый день печатают протоколы. Их так много, что приходится приходить на работу в субботу и воскресенье. Поэтому хотелось бы такую связку: берем аудиопротокол, улучшаем звук с помощью Adobe, затем транскрибируем с помощью whisper, и в конце chatgpt, настроенный как юрист и учитель русского языка, переписывает полученный после транскрибации текст грамотным юридическим языком
Это очень даже реально сделать. Только транскрибацию нужно делать локально, чтобы данные не уходили на другой континент. Буду пробовать такую локальную ИИ в скором времени
@@MrDewiar Тоже вчера столкнулся с такой проблемой Но мне надо было видео с tiktok транскрибировать. Причём с украинским языком. Проигрался куча сервисов Или платные или демо или интерфейс вырви глаз. Можно было бы сделать для начала чтобы данные уходили куда-то на сервер Но при этом красными буквами предупредите чтобы не загружали конфиденциальную информацию. Часто бывает Нужно проработать и открытую и негде
@@romanbolgar понял
куча нахлебников хотят упростить себе сладкую жизнь ?
закон что дышло: куда свернешь - туда и вышло ...
Это да, надо только, чтобы он ещё разных людей сортировал: какая фраза от судьи, какая от истца, ответчика, представителей, свидетелей...
‼Михаил, Вы молодец ❗Вот голосового бы ещё ассистента интегрировать, голосовую модель ➕⁉
Да, сам хотел бы. Работаю над этим.
Да, спасибо, буду тестить ваше решение
Благодарю
вопрос не совсем по теме. использую бесплатную версию перплексити для анализа текстов. и в простой версии и в про количество символов с пробелами ограничено 7852. может кто подскажет в чём дело? и как там в платной версии?
Техно-коммунизм да, огонь прост!😀💯💯💯⚡⚡⚡
Будем развивать :)
Функционал ростёт!
Валерий, движемся в перед))
Гений!
Илья, благодарю! Буду трудиться, чтобы соответсвтовать)
Перплексети не работает как личный ассистент, через сообщений 25 он путаеться, терчет контекст, тупит, и это на про версии!
Сырой инструмент, я купил про , не для того, чтобы на мне обучади нейросеть, точнек для выполнения задачь, а не для того,чтобы поиграться!
В отношении перплексити я заметил, что все делятся на 2 крыла - одним он очень нравится, вторые его не переносят. По поводу путаницы, там работает Llama внутри у них, она не очень хорошая для русского языка, и да, путается. Я подключил их официальный API, на саму их модель никак повлиять не могу.
@@MrDewiar главный плюс этой нейросети, работа без сервисов маскирующих местоположение.......perplexity...
Спасибо! 😊
Вам спасибо за комментарий!
Идея: запись телефонных разговоров и сохранение голосовых модуляций звонящих мошенников для последующего создания базы данных по голосам.
Тут есть проблемные моменты. Сейчас дозваниваются молодые цигане из Германии, я как-то пытался вычислить их. И они отлично дружат с нейросетями для синтеза голоса.. т.е. они сами используют уже часто голос, который создали через ИИ.
@@MrDewiar пока с Украины даже не пытаются маскироваться. Их голоса одни и те же.
Добрый день ,в вашем сообществе можно пользоваться программой Make
Здравствуйте. Нет, пока еще не работал с этим решением
Огонь 🔥!!!
Благодарю!
хорошее дело делаешь.
Спасибо Вам!
Как всегда лайки спасибо
Благодарю от души
Пробовал ваш девиар,. Это хорошо, что такие как вы пробуют новые инструменты, но...задал вопрос в вашем приложении модели нейросети, у которой должен быть поиск в интернете, модель ответила, что поиска то нету....пробовал на прямую, не через ваш сайт, поиск есть....для себя делаю вывод...красивое оформление сайта, однако использование ллм моделей лучще на прямую! Без посредников....
Тоже самое приминимо к рещению задачь, на вашем сайте выбранные модели гораздо хуже справлялись, чем эти же ллм сети , если работать напрямую, ..
Александр, очень странно. Если в Девиар был выбран Перплексити, он должен хорошо искать в интернете, я использую их официальный API. В ближайшее время я сделаю функцию, которая позволит любой модели искать в интернете.
Привет, не зря!
Благодарю 👍👍👍
Михаил, а протестировать телеграмм бота с настроенным ИИ ассистентом получается можно только пополнив счет? Даже отсутствует пробный период в 10 минут (с бесплатной ИИ) ?))
Создала быстро ассистента, присоединила к боту и он сразу хочет кушать:)) в нем только рекламные менюшки бесперебойно работают:)) видимо дальше нужно кормить как тамагоча в детстве) чтобы посмотреть в деле)
Здравствуйте. Вы можете заполнить анкету, это займет 30 секунд. Это сделает Ваш счет положительным и Вы сможете тестировать dewiar.com/anketa
@@MrDewiar 🎉Ура, помогло)) Значит протестируем:)
Создайте персонажа доктора, который будет давать развёрнутые ответы по симптомам, задавать наводящие вопросы, чтобы точнее назначать лечение и ставить диагноз. Оценивая фото, сканы рентген, данные анализов. Назначать лечение, рекомендации. Оценка состояния по фото как больного участка тела так и лица например. Вообще идея максимально сделать виртуального врача, который например мог по фото сыпи оценить ее с фото и сопоставить все жалобы и симптомы, задать вопросы, что ему ещё необходимо для постановки правильно диагноза и уже на базе этого, диагноз, лечение исходя из данных пациента и рекомендации.
Хорошая очень идея. Проблема в том, что большим ИИ запрещают сейчас отвечать на вопросы, связанные с медициной, и с юридической онформацией. Я буду пробовать решать это на локальном ИИ. Обязательно нужно сделать хорошего ИИ врача, и хорошего ИИ юриста.
@@MrDewiar есть вроде менее зацензурируемый, вроде джемени. Для хакеров создали haker gpt там сняли цензуру на взом и программирования, ИИ думает при этом что он специалист по кибер безопасности. Вероятно есть методы обхода цензуры.
@@MrDewiar Добавлю к этому списку... и отличного финансового астролога. Я сам делаю ASTRO llm, которая будет лучше выполнять свои функции, чем Блумберг Терминал с его платной подпиской.
@@astrofinans Да, это хорошая идея. Единственное, здесь уже на любителя. Сам я не верю в астрологические данные. Сколько не проверял на себе, к сожалению срабатывает примерно с той же вероятностью, с которой можно прогнозировать что угодно случайным образом. Не нашел закономерностей.
Михаил доброго дня Вам и процветания каналу! Не совсем понятно задача ИИ в этой цепочке выдать более релевантную информацию -я правильно понимаю?
Здравствуйте. Спасибо за добрые слова. Здесь релевантная информация понимается не в плане ее верности, а в плане соответствия релевантности выдачи классической поисковой системы. Основной недостаток всех ИИ моделей - они не умеют обращаться к глобальной сети за свежими данными, а эта модель умеет это делать. В этом единственный плюс. Многим Перплексити нравится, многие пользуются. Захотелось ее встроить в свои решения
Ролик полезен
Спасибо Вам!
Здравствуйте, в теме LLM и прочего еще новичок. Как их юзать и локально например развернуть уже знаю) например Mistral 7b ....! А подскажите как же их обучают? Через какой софт...
Здравствуйте. Я тоже думал как это делается, нашел способ. Есть технология RAG - создание для LLM отдельно базы данных, с которой LLM взаимодействует. Мы не саму нейронку обучаем, а даем ей мгновенную библиотеку данных в пару для работы.. это все делается на локальном сервере. Я сейчас пишу решение, постараюсь его показать в ближайшем будущем. И по поводу Мистраль - обратите внимание на Мистраль Немо - она получше, ее делали совместно с Нвидиа.
@@MrDewiar спасибо за инфо!!! А вот ещё что не ясно, бывает смотришь на huggingface модельки той же Mistral, а там как будто разные сборки от разных людей...в описаниях написано например: мол эта сборка прилизала оригинальную модель mistral путем llama. Это получается просто над самой оригинальной моделью сделали прослойку (преднастройку) кастомную...типо чтоб точность выше была?
@@alexanderraf5553 Может быть там имеется ввиду не llama, а ollama? Это один из интерфейсов для развертывания локальных ИИ. По сборкам от разных людей тоже встречал такое, но пока сам не видел примеров, как это они делают.. выглядит странно.. нейросеть обучается на 100 000 видеокартах год, а потом какой-то человек делает это один на простом железе... что-то здесь не сходится
@@MrDewiar разобрался со своим вопросом) там надписи про llama.cpp типо квантизацию модели прошли(.gguf). Это типо квантизированные модели -которые адаптированы к маломощному железу и может часть нагрузки с gpu на cpu переложить и с vram на ram. А если б не guff и не llama.cpp, то тогда простецкая моделька бы требовала 24 гиговую топовую видюху. Понял так
@@alexanderraf5553 Спасибо за информацию. Тоже буду знать
В дуальной модели очень не просто ходить по этому "дереву" глазами, особенно если оно большое. Хочется иконки чтобы визуал проще было воспринимать
иконки превратят инфу в свистоперделку, как яндекс ...
@@nik452600 в каком смысле
Я пока сделал промежуточную версию, вместо иконок добавил небольшую инфографику в надписях.. эта инфографика использует отдельный иконочный шрифт, что экономит ресурсы сервера не требуя их генерации с нуля
Как всегда, все супер! Молодцы! Браво! Скажите, какой объем информации можно загрузить в асистента?
Здравствуйте. Спасибо! Т.к. они используют Llama, сами разработчики этой модели указывают ширину контекстного окна в 128 000 токенов
@@MrDewiar а сколько это в печатном виде, примерно? Спасибо!🙏
@@2742-z5x Не смогу ответить на Ваш вопрос. У каждой ИИ свой метод подсчета. При этом на английском языке это одни цифры, на русском - абсолютно другие (их больше почти в 2.5 раза)
Что лучше Яндекс нейро или перплексити для снг ? Ваш вердикт ?
Если честно, мне не нравится ни перплексити, ни Яндекс.. нужно пробовать свое решение
Перплексити, однозначно. Запрос по-английски даёт более продвинутые западные источники. Явно работает авторитет источников. Русский ответ слабее, на "нашинских" источниках.. Яндекс только недавно стал индексировать научные ресурсы, типа сайберленинка. Ответы Яндекса - ересь из соцсетей и околонаучных статей.
Лайк 👍
Денис, благодарю!
С Ux/Ui подтянуть чуть, а так супер
Спасибо, не хватает в команде спеца в этом. Ищу такого человека
А для чего эта нейронка когда есть чат GPT который на все это сможет ответить?
Не всегда. Если Вы начнете проверять факты, удивитесь, на сколько много и часто он выдает недостоверную, не актуальную информацию.. и это нормально, это особенность LLM
Есть ли или будет ли приложение для смартфонов? Или хотя бы возможность привязать к чатботу в тг?
Здравствуйте. Телеграм бот работает, Вы можете это сделать сегодня ua-cam.com/video/02sYZO5w9kw/v-deo.html
Что касается приложения, наши решения работают в браузере. Браузерное решение позволяет сохранить его на Вашем телефоне как приложение, мы используем PWA технологию, когда это и сайт и приложение одновременно
Вчера обратил вниманте что ЧатГпт тоже стал искать информацию в интернете.
Интересно.. благодарю за информацию. Скоро уже выкатят официально... постараюсь сделать свою альтернативу к тому времени.
Михаил, у Девиар есть API?
Дмитрий, пока еще нет. Планируется, но еще сам Девиар не созрел для этого
Подскажите как с вами связаться?
Сергей, здравствуйте. Я администратор телеграм группы, она указана под видео. Напишите, я в группе прочитаю Ваше сообщение, и напишу Вам лично в ответ
Кто шарит в этой теме не называют нейронки искусственным интеллектом. Ну и про эту вашу ламу, которую крутят на одной домашней игровой видюхе, типа 14b. Что там может конкурировать с фермами видеокарт в коммерческих нейронках. Смысла ставить её вообще нет, разве что для баловства. Хотя llama 3 80b может и что то может, но куда её ставить?
Хотя заказов сейчас очень много от бизнеса по нейронкам, проектов буран. Уже внедрил в большой компании ассистентов, чаты и голосовые для телефонии, так же расшифровку и обработку тел звонков, аналитику. Вообщем поле не паханное. Но все через API gpt4. Лама в бизнесе никому не интересна.
Llama 14b не существует в природе. Есть 8b и следующая уже 70b.. во всяком случае в Ollama.. 8B никуда не годится, т.к. в ней мало русского языка, плохо работает с ним. У меня есть опыт успешной работы с локальной ИИ на одной видеокарте Nvidia 24Gb.. и смысл есть, квантованные модели 27B справляются с большинством стандартных задач.. что в рамках любого закрытого решения для любого предприятия очень подойдет. Так что с Вами здесь не соглашусь, сам прошел этот путь.. имеет право на жизнь)
Я вижу, что Вы имеете опыт.. только вот не понятно, как Вы работаете с приватностью данных.. любое предприятие имеет ограничения в этом.. а Вы, получается, все эти данные отправляете на другой континент.. это может стать проблемой в будущем.
По обработке телефонных звонков интересно, если Вы поделитесь как Вы это делаете.. я думаю, Вы делаете на основе Wisper.. но он же медленный очень.. что можно на нем запускать в GPT4?
@@MrDewiar я пробовал транскрибацию на моделях из huggingface, количество бреда было до 30%. Посмеялись все от души. Потом перевёл код на тиньковский войскит. Тинькофский транскибатор показал очень хорошие результаты. Которые и направляю в gpt4. Разговоры никакой ценности для МИ6 и АНБ не представляют. Там нет личных данных. Все сделано на python, крутится в мульпроцессах и обрабатывается до 2-3 тысяч разговоров в сутки. Повозился с этой темой конечно знатно, получил без ценный опыт разработки под ai, но и эффект на заказчика бомбичнский. Сейчас работаю над умным секретарём, который принимает звонки и отвечает на вопросы клиентов на основе данных, которые в неё загрузилм, может переводить звонки на отделы и сотрудников, фиксировать просьбы что то передать в нерабочее время. Это очень интересно.
@@MrDewiar по поводу обработки звонков, все делается не в реальном времени, а после завершения звонков, прога ходит по таблице успешных звонков, загружает mp3 разговоров, где в одном канале клиент, в другом менеджер и транскрбатор понимает где кто и помечает клиент-менеджер и нейронка потом тоже понимает контекст. Все это текстовое загружается в БД и передается в обработку нейронкой, которая проставляет теги темы разговора, оценивает разговоры на конфликты, вежливость, эффективность и прочие параметры. Результаты попадают в карточки клиентов, все записи, расшифровки, краткие пересказы, теги, оценки. Так же данные падают в отчеты для руководителей. Если нейронка выставила низкую оценку, то запись подсвечивается в таблицах и ее уже оценивает лично руководитель, что там случилось с клиентом. Еще ищем упоминание новых продуктов компании, было ли упоминание в разговоре с клиентом.
Эта тема заказчику зашла прям на ура.
Возьмите в команду. Я питонист с академическим образованием
Руслан, добрый вечер. Буду рад Вам. Потому что весь код пишу я своими силами на php + js. Буду рад контакту. Напишите мне в телеграм @isaev_mp
А Разве Perplexity использует не GPT 3.5 Turbo на 175B ???
Вы абсолютно правы! Вначале они использовали 3.5 (но старались не признаваться в этом), но потом к ним пришли инвесторы, и они приняли решение перейти на открытую модель от Мета.
Я закончил курсы УИИ за 70000р, но знаний ноль. Никому не рекомендую эти курсы. Будем учить у Миши!)
Приятные добрые слова. Не подведу, скоро будут полезные обновления, третьи сутки не сплю))
Хочу к Вам в команду
Здравствуйте. Мы открыты. Присоединяйтесь. Напишите мне в телеграм @isaev_mp
Технокоммунизм ))
Ага))
Я бесплатной полной версией gpt 4o пользуюсь мне хватает.Без ВПН. Я и картинки создаю и задачи решаю которые мне нужны. А ты за это платишь?
Вы просто используете для себя. А можете ли Вы свою GPT заставить работать на Вашем сайте, заставить работать как личный телеграм бот? Можете регулировать в нем уровень креатива? Контролировать длину контекста беседы? Это можно делать только по API, а любой API платный...
@@MrDewiar у меня нету сайта да если бы даже был зачем он мне там? Да я его для себя использую :) он мне в работе очень помогает. А как его и зачем по-другому использовать? Он вроде как и создавался для личного использования
@@Art-_-life Ну простой пример, телеграм.. чтобы никуда не заходить, а иметь своего же помощника в привычном браузере.... а еще.. если у Вас есть группа в том же телеграме, он может выполнять функции Вашего личного администратора... Но это да, далеко не всем это нужно
С российского ip? Научите?!)
@@alexeykozlov7004 да с российского ип адреса. уже давно давно сижу. на этом сайте EasyChat - EasyChat там половина на японском но мне это мало чем мешает. ну и иногда глючит так как пользователей много. зато платить не надо. gpt 4o mini - gpt 4o free работают остальные чаты не работают они видимо платные ну или я просто чего то не понимаю
Главная проблема Перплексити - он отдает сильный приоритет западным источникам. Которые, мягко говоря, очень не всегда говорят правду, слишком предвзяты. Поэтому получать актуальные новости и аналитику из интернета лучше какими-то другими инструментами.
Мне показалось, что на сайте Девиара при общении с каким-нибудь ИИ, то есть на странице беседы нет возможности быстро написать разработчикам какой-нибудь фидбек, идею или багрепорт с опцией указания текущей беседы в качестве примера. Если проект находится в стадии непрерывного тестирования и улучшения, то возможно такой источник информации мог бы кому-нибудь пригодиться.
В своем поисковике я это учту.. спасибо 👍
К сожалению российские часто не говорят правду вообще. Пропаганда (любого государства) сама по себе штука предвзятая. Порой читаешь новость в первоисточнике про какого-то робота или технологию, а к тому времени когда она появится в прессе России, там уже такой дичью, политикой и мистикой иногда обрастает, что смотришь и не понимаешь. Как "то"? превратилось в "Это". Смысл бывает перевернут с ног на голову. Ну этим все грешат сейчас. Так-что лучше всегда копать в сторону источников. Как никак в эру ИИ можно генерировать фейки любого типа, чем все сейчас и занимаются.
@@ivanshipilov4265 Да, и с этим сложно работать.. даже у каждой компании своя есть повестка или вектор.. в итоге, информация всегда является не нейтральной.. не позволяет самому принять решение, а навязывается принудительно.. Как решать это на уровне ИИ пока не понятно
@@MrDewiar Вполне понятно - избегать моделей, у которых предвзятость зашита на уровне системных промптов, которые нацелены фильтровать информацию в угоду одной стороне, отодвигая логику. Большинство взрослых моделей вполне способны оценивать достоверность информации после многофакторного анализа, а не тупо передавать точку зрения первых попавшихся аналитиков, чьи труды были использованы при обучении.
Михаил, к Вам со всем уважением. А Ваш директор или кто он Вам!? Печаль, товарищ. Зря только потратил время на него. Я не знаю, какая у вас политика. Но с ним говорить о бизнесе - это только.......... Если есть возможность именно с вами наладить диалог по проектам, то было бы хорошо.
Здравствуйте. Вот мой логин в телеграм @isaev_mp - напишите мне, проговорим
Показалось, что слабовата она. Боянит сильно материалами из блогов.
Так и есть. На их сайте лучше работает, если вот через API, то слабее ощутимо
спасибо.но очень быстро. коммунизм - хорошо))
Пытался покороче, меня обычно обвиняют, что слишком долго и медленно рассказываю.. а здесь вот уже тараторю)
зачем эта музыка в фоне тилибомкает? Мы на дискотеке???!!! (((((
Сильно напрягает?
@@MrDewiarнормальное музло)
К сожалению очень сложно пользоваться перплексити. Для вопросов - да. Для поиска - нет. Он выдает порой такую чушь.
Как повезет.. было когда он удачно отвечал, а иногда да, несет ерунду
@@MrDewiar Потому что в сети нет маркировки степени доверия источнику информации. Раньше он определялся просто по рейтингу или раскрутке сайта. Но способ уже давно не актуальный. А с учетом появления ИИ вообще не рабочий. Если следовать логике обучения ИИ если 100 условно скажут 1+1=3, то так и будет считать. Даже если информация ложная.
@@ivanshipilov4265 абсолютно верно! И здесь если только отбирать достоверные проверенные ресурсы, и заставлять ИИ работать в первую очередь с ними. Но эта работа очень непростая
Пару раз пользовался переплекситом , он не проверяет ревалентность и качественность материала для самарайзинга и на выходу получается шляпа.
@@user-of-world да, он не занимается проверкой. Он использует обычную поисковую выдачу, просто перечитывает странички за нас, и все
У нейросетей нет внутренних часов они из за этого путаются даже джипити фантазирует если ему не указать на то что нужно искать данные в интернете актуальные
Да, все верно. Но в рамках перплексити это первое, что должны были решить его разработчики. Любая актуальная информация коррелирует с ее "свежестью"
Пожалуйста свяжитесь со мной
Здравствуйте. Напишите в телеграм группу, я увижу Вас и напишу в ответ
Вот мой логин в телеграм @isaev_mp
Тестировал эту нейронку. По моему полная шняга...
Тут диаметрально противоположные мнения. Одним она вообще не заходит, вторые от нее в восторге. Много кто писал добавить ее.. я все думал, что лучше сам сделаю нечто подобное.. но сейчас в процессе написания кода, понял, что они довольно хорошо справляются с задачей. На сколько я знаю, сегодня они лучший поисковик с ИИ. Хотя вот-вот выйдет GPT SEARCH.. будем наблюдать
@@MrDewiar индексацию по ранжированию достоверности источников
засрали сеть копирасты ...
@@MrDewiar пробовал писать промты на английском и на русском. Без разницы, ищет как бог на душу положит и часто не то, что просишь. Gemenai и то лучше с задачей справляется.
В обоих случаях искал информацию по гражданскому кодексу РФ.
@@dmitriynikanorov8630 Так да, там же ЛЛама внутри.. у нее с русским текстом и данными на русском языке все плохо
Техно комуна:
от каждого по возможностям,
каждому по участию ... Хорошое дело
без дураков и прихвати_заторов ...
Да, почему бы и нет))