Відео

@@user-zy7ko2bw9q спасибо! В итоге не самый удобный способ записи получается, но работает.

​@@trashchenkovбыло бы интересно разобраться с ролями в LLM, например вести диалог с моделью в роли Дяди Федора и кота Матроскина, с 2 или больше персонажами. Стилистику ответов прописать, такая функция есть в гига чате. Заставить llm не просто отвечать на вопросы , а вести диалог полноценный. Спасибо 🙏

да, конечно. Есть большое количество вариантов для реализации Text-to-Speech. В одном из следующих видео покажу на примере SaluteSpeech API, раз уж в основе всех примеров у нас GigaChat.

Здравствуйте! я особо в отечественных no-code конструкторах не разбирался пока. Знаю, что точно RAG на GigaChat можно сделать в СберБизнесБоте. Там можно самому собирать, а можно заказать у них готовую систему под ключ (за определенную плату, разумеется). Возможно, есть и другие рабочие решения, но мне не попадались на глаза.

привет! надо смотреть текст ошибки. Можешь скинуть текст ошибки или скриншот мне в бота обратной связи, я проверю t.me/Fee_dback_bot

Эту теорию подтверждает резкое падение качества генерации при использовании BM25.

очень может быть. Надо будет попробовать провести векторизацию сберовской моделью.

да, ChatGPT и некоторые другие модели справляются. Но GigaChat тоже со временем натренируют. Технологии развиваются быстро.

Привет! В описание ТГ-канала добавил ссылку на бота, можно писать туда, я отвечу.

@@anzhelikasakhautdinova6604 спасибо! Добавлю в список идей для будущих роликов)

Большинство языковых моделей дообучены таким образом, чтобы не отвечать на вопросы, которые нарушают какие-либо законы, этические нормы и т.д. Иногда с этим немного перегибают палку. Если вас интересуют большие языковые модели "без тормозов", то такие тоже есть, но они опенсорсные, то есть их нужно запускать либо на своем компьютере, либо арендовать подходящий сервер и запускать там. Возможно, что есть товарищи, которые запускают и дают другим доступ по API. Обычно модели без цензуры содержат слово Dolphin в своем названии.

Большинство языковых моделей дообучены таким образом, чтобы не отвечать на вопросы, которые нарушают какие-либо законы, этические нормы и т.д. Иногда с этим немного перегибают палку. Если вас интересуют большие языковые модели "без тормозов", то такие тоже есть, но они опенсорсные, то есть их нужно запускать либо на своем компьютере, либо арендовать подходящий сервер и запускать там. Возможно, что есть товарищи, которые запускают и дают другим доступ по API. Обычно модели без цензуры содержат слово Dolphin в своем названии.

Да, видео будет, возможно даже следующим. В langchain/gigachain есть готовые инструменты, которые в промпт всю необходимую информацию про БД подставляют, про них расскажу. Я еще писал про курс на Deeplearning.ai: t.me/gigatrash/34 . Если дружите с английским, поизучайте.

Спасибо! Опенсорс обязательно будет на канале, но неизвестно когда)

Видео предполагает владение Пайтоном.

Здравствуйте. Давайте уточним, что подразумевается. Вы хотите, чтобы в телеграм-боте были кнопки? Для этого есть клавиатура telebot.types.ReplyKeyboardMarkup. Но по факту кнопки в телеграме - это быстрый набор слова или предложения. То есть по нажатию кнопки боту отправляется просто текстовое сообщение. В боте может быть обработчик - если пришло такое сообщение, выполняю такие-то действия. Соответственно, надо подобную логику прописать. И я не очень понял про начало и конец диалога по кнопке. Вы хотите, чтобы стиралась память? Это можно сделать, переопределив память заново.

​@@trashchenkov К сожалению, я тогда торопилась и не правильно описала проблему. То есть при нажатии кнопки ReplyKeyboardMarkup "Начать" - начинается диалог с gigachat, то есть обработка приходящих сообщений и отправка ответа. И при нажатии кнопки ReplyKeyboardMarkup "Стоп" - диалог заканчивается. У меня в итоге получается генерация и отправка только одного сообщения. Пыталась и в отдельном файле писать и функцию создавать.

@@AlexLopez-dk5mt Вы используете компоненты памяти и ConversationChain из этого туториала? Или как у Вас организована передача списка сообщений при каждом запросе? Надо где-то сохранять в переменной историю сообщений. В этом туториале история сообщений сохраняется в словаре user_conversations, который создан вне всяких функций.

@@trashchenkov Да, я использовала компоненты памяти и ConversationChain из данного туториала. Могу показать свой код чат-бота в телеграмме.

напишите в телеграме сообщение под любым постом, я свяжусь в личке.

Проверил. Действительно, вылезает ошибка. 24 мая разработчики выпустили версию гигачейна 0.2.0. Если при установке указать более старую версию, то все нормально работает: !pip install -q gigachain==0.1.17

Да, Гигачат порой игнорирует инструкции в системном сообщении. В следующем видео я показываю как пользоваться различными видами памяти в GigaChain/Langchain: ua-cam.com/video/cSbGMrMbYng/v-deo.html Там ближе к концу видео есть пример про доктора исторических наук, который должен отвечать только по истории. Для работы с памятью нужно составлять шаблон промпта, который подается как единый пользовательский запрос. То есть там и описание персонажа, и инструкции, и история сообщений, и текущий запрос упаковываются в одно пользовательское сообщение. И тогда отвечает нормально.

Да, есть такая проблема. Но разработчиков можно понять, лучше перестраховаться, чем допустить генерацию недопустимого контента. Если говорить про доступ к модели по API, то попробуйте так: GigaChat(credentials=auth, model='GigaChat-preview', verify_ssl_certs=False, profanity_check=False ) Параметр profanity_check отвечает за включение/отключение цензора. Должно стать получше, но некоторые темы все равно не пропускает.

@@trashchenkov Благодарю

​​@@trashchenkovполно же других нейронок. А от Сбера, то, что Грефу принадлежит - слуге Шваба и врагу народа, укравшему все народные деньги Сбербанка и желающего народ в неведении и рабстве держать, на деньги же народа - сомнительное удовольствие и польза в пользовании😅

Вопрос в общем и целом справедливый, но нужно прояснить некоторые моменты. Тогда станет понятнее, что ответы на этот вопрос могут быть разные)). Обучить большую языковую модель с нуля на сегодняшний день могут только крупные компании. Это дорого, требует серьезного оборудования и штат квалифицированных специалистов. На эту тему отсылаю к видео, там в начале про это Andrej Karpathy очень хорошо рассказывает ua-cam.com/video/zjkBMFhNj_g/v-deo.html Можно брать готовые языковые модели, которые опенсорсные, запускать их на собственном железе, дообучать под свои задачи, если нужно, и использовать. Так делают многие бизнесы, которые не хотят передавать свои данные сторонним компаниям. Но это тоже требует определенных ресурсов и квалификации. Использование доступа к готовым языковым моделям по API, как например к GigaChat, это еще одна опция. Она позволяет не брать на себя издержки по обслуживанию софта и оборудования. То есть это как бы языковая модель как услуга. Если речь не идет о работе с какими-то чувствительными данными, то это приемлемый вариант. Более того, значительная часть примеров кода может с минимальными изменениями быть использована как для доступа к моделям по API, так и к запускаемым локально моделям. Если возвращаться к Вашим аналогиям, то можно ездить на личном автомобиле, можно пользоваться общественным транспортом. Аналогия с детьми более сложная, но есть люди, которые работают учителями или берут приемных детей. Видимо для них есть какая-то мотивация участвовать в воспитании чужих детей)))

Добрый день, на ваших запросах языковая модель не обучается. А в бизнесе эти технологии имеют очень крутое применение, я допустим сейчас делаю бота, который будет общаться с клиентом в чате авито, отвечая на запросы по наличию, аналогам, доставке и оформлению заказа. В данном видео очень примитивная демонстрация возможностей.

Интегрировать в лангчейн можно (про это есть в последующих видео), а вот дообучать нельзя. Максимум можно в промпте передать несколько примеров того, как надо выполнять требуемое задание (такая техника называется few-shot prompting).

как вообще научить гигачат чему-то уникальному? Например как в chatgpt, там можно кинуть ему 1000 книг и сказать в промте: теперь ты берешь ответы оттуда. Есть такая возможность в гигачат?

@@user-ut1lp6di5s здравствуйте! У сбера недавно появился продукт, который делает тот функционал, о котором вы говорите: t.me/gigatrash/10 В основе должна быть RAG система, которая будет искать кусочки текста среди тысячи книг, которые наиболее подходят под вопрос. Я как-нибудь сделаю видео, где покажу как сделать простую RAG систему.

Можно прописать в коде следующий алгоритм действия: Если получаем вместо ответа на запрос сообщение, что токен недействителен, отправляем запрос на получение нового токена, а затем повторяем наш запрос к языковой модели, используя новый токен. В следующих видео я вместо обращений через requests использую класс GigaChat из библиотеки GigaChain. Там все эти процессы автоматизированы.

Спасибо) 1. Какой-либо проблемы с совместимостью ИИ и pyTelegramBotAPI нет. В примерах из ролика результат работы языковой модели извлекается в виде строки и передается в таком виде в API телеги. Можно еще сделать своего бота для генерации картинок Кандинским, сообщения в виде картинок pyTelegramBotAPI тоже отправлять умеет. 2. Нет, pyTelegramBotAPI принимает только токены от BotFather. Но это тоже неплохой функционал, потому что таким образом можно, к примеру, автоматически вести телеграмм канал (бот в качестве администратора). Если же все-таки касаться юзерботов (оставляем за скобками юридическую сторону вопроса), то это надо смотреть в сторону библиотеки Telethon и ее производных. Но я этим никогда не занимался, поэтому мало что могу подсказать.

@@trashchenkov Благодарю за Ваши видео и github. GigaChat показал хорошие результаты в сравнении с крупными зарубежными моделями + на русском + не надо VPN + пока бесплатно. Буду ждать Ваши последующие видео.

Здравствуйте. Как я понимаю, Вы про создание RAG (Retrieval-Augmented Generation). Про это будет одно из последующих видео. RAG - это вопросно-ответные системы, которые при генерации опираются не на знания модели (которые ограничены и подвержены галлюцинациям), а на внешнюю базу знаний (обычно это векторная база данных). Для такой системы надо не одна, а две модели: помимо генератора вроде Гигачата понадобится еще эмбеддинговая модель, которая преобразует кусочки текста в векторы фиксированной длины. Суть в том, что нужно подготовить тексты. Допустим Вы берете книжку и делите ее на небольшие кусочки (чтобы можно было их как часть промпта использовать) и векторизуете эмбеддинговой моделью. Все это помещаете в векторную БД. Когда пользователь делает запрос по тексту, его запрос тоже векторизуется и сравнивается с векторами в БД. Кусочки, векторы которых самые близкие к вектору запроса передаются в промпт к генератору вместе с запросом. Тогда генератор пишет ответ на основе этих кусочков. Таким образом мы можем использовать языковую модель для работы с текстами, которые сильно больше лимита токенов модели.

Спасибо за обратную связь. Продолжение готово)