Плотные векторные представления слов для определение тональности | Обработка естественного языка
Вставка
- Опубліковано 7 чер 2024
- Определение тональности отзывов на банки с помощью классических алгоритмов машинного обучения. Используем логистическую регрессию и плотные векторные представления слов.
00:00 - Начало
01:21 - Загрузка и предобработка данных
02:09 - Векторизация текста с помощью векторов navec
04:38 - Готовим данные для обучения
06:45 - Обучение модели логистической регрессии
07:24 - Оценка качества обучения модели
08:21 - Применение модели
10:09 - Итоги
Colab-ноутбук из видео - colab.research.google.com/dri...
Проект реализуется победителем Конкурса на предоставление грантов преподавателям магистратуры благотворительной программы "Стипендиальная программа Владимира Потанина" Благотворительного фонда Владимира Потанина".
вКонтакте - avsozykin
telegram - t.me/a_sozykin
Мой сайт - www.asozykin.ru
Мой канал с краткими и понятными объяснениями сложных тем в ИТ и компьютерных науках - / andreysozykincs - Наука та технологія
Полезное видео, респект автору за труд.
Андрей, большое спасибо за видео и примеры.
Скажите, будут ли видео, связанные с дообучением существующих популярных моделей под свои задачи, или на своем наборе данных, через API OpenAI или хоть как-то. Очень интересна эта тема, но материала с такой толковой подачей материала, понятного для не инженеров и проч. технических людей крайне мало.
Или поделитесь ссылками на толковые материалы по теме, если у Вас есть.
Спасибо еще раз, пойду смотреть сети =)
Здравствуйте, а размер вектора это величина регулируемая ?(та , что в нашем случае равна 300)
Класс!
Спасибо!
Первым делом, хотел бы поблагодарить за уроки!
А можете, пожалуйста, для примера взять другую задачу, например, следует ли предложение из предыдущего, или являются ли второе предложение связанным по смыслу с первым, отнесение текста к определённым категориям?
Просто, для определения тональности текста, я выбрал слова из отзывов, которые характеризуют тональность текста (отличный, хороший, супер, рад, доволен... и ужасный, отвратительный, обманул, отказал и тд), добавил проверку на "не" и суммирую частоту встречаемости этих слов в отзыве.
Пока без модели справляется, понимаю, что это конечно, частный пример и может попасться отзыв без тональных слов вовсе. Но у меня пока срабатывает на 100%.
думаю, это сможет сделать Ваш вклад в образование ещё более весомым, так как будут, примеры решения других задач. И появятся новые ключевые слова в названиях видео, которые приведут новую аудиторию:)
Подскажите пожалуйста нейронную сеть, которая распознаёт графические фигуры на ценовом графике.
Непонятно, но оооочень интересно
Да, embedding - сложная тема.
Здравствуйте, а будут видео по питону?
Имеется в виду видео именно по языку Python в общем? Или какие-то специальные вопросы по машинному обучению и NLP?
@@AndreySozykin по языку python в общем. Может быть какие-то кейсы с пандас. Или может есть такие видео, я пропустила :)
@@AndreySozykin за это видео большое спасибо, мы сейчас занимаемся парсингом данных с телеграмма и определением тональности