Решаем задачи NLP с помощью Hugging Face | Обработка естественного языка
Вставка
- Опубліковано 2 сер 2024
- Демонстрация решения задач обработки естественного языка с использованием библиотеки Hugging Face.
00:00 - Библиотека Hugging Face
01:35 - Определение тональности текста
03:15 - Определение тональности русского текста
05:11 - Классификация теста
06:52 - Автоматический перевод с русского на английский
07:37 - Автоматическая генерация текста
08:47 - Автоматические ответы на вопросы
10:01 - Извлечение именованных сущностей
11:28 - Итоги
Библиотека Hugging Face - huggingface.co/
Задачи обработки естественного языка в библиотеке Hugging Face - huggingface.co/tasks
Colab ноутбук из видео - colab.research.google.com/dri...
Взращивание культуры Open Source в компании: о чем не пишут в Интернете / Михаил Грачев (Evrone) - • Взращивание культуры O... (комментарий "Мамкин кубер-докер смузихлёб").
Магистратура "Инженерия искусственного интеллекта" - aiengineer.urfu.ru
Проект реализуется победителем Конкурса на предоставление грантов преподавателям магистратуры благотворительной программы "Стипендиальная программа Владимира Потанина" Благотворительного фонда Владимира Потанина"
вКонтакте - avsozykin
telegram - t.me/a_sozykin
Мой сайт - www.asozykin.ru
Мой канал с краткими и понятными объяснениями сложных тем в ИТ и компьютерных науках - / andreysozykincs - Наука та технологія
Андрей, научили пользоваться такой крутой библиотекой! Огромный Вам респект! Урок супер!
Ох вообще супер. Как раз недавно обратил внимание на эту библиотеку, на англоязычном ютубе. А тут такой шикарный подгон на русском, да еще и классно объяснили.
Спасибо! Рад, что понравилось!
сейм!) буквально недавно увлекся нлп, и прям своевременный видосик))
Спасибо! Отличное видео
Оу май гад! У вас восхитительный голос 😻👍
Манера повествования прекрасна, объясняете подробно 👍
Спасибо за видео!
До чего техника дошла 😱💥
Да, именно так.
Спасибо большое!
Пожалуйста!
круто!
Спасибо!
Если у вас не работает строка "from transformers import pipeline", то у вас установилась старая версия transformers. Укажите более новую версию (например, 4.38.2) самостоятельно, с помощью " !pip install transformers==4.38.2 ".
Добрый день) а Вы не подскажете если есть задача из текста типа "хочу сходить в магазин утречком с мамой и купить молока" выделить задача: сходить , купить; время: утро; с кем: мама ; предмет: магазин, молоко, какой тип пайплайна лучше использовать? или какую задачу с hugging face?
Андрей, добрый день! Спасибо за Ваши видео, в них много полезной информации. Как Вы считаете, не свидетельствует ли приведенный Вами пример использования библиотеки RuBERT о непригодности последней к реальному использованию? Простейшее предложение 'Я ненавижу НЛП", классифицируется, фактически, неверно. Всего 75% процентов вероятности, что это негатив. Хотя оригинальный BERT оценивает 'I hate NLP' как практически 100% негатив. У Вас, кстати, даже голос звучит озадаченно когда Вы озвучиваете результат RuBERT.
Спасибо за приятный отзыв. Я бы не сказал, что ruBERT не пригодна для практического использования. Ее возможности, действительно, ограниченны. Но в примере текст слишком короткий, обычно анализируются более длинные тексты.
Добрый день, вы будете рассматривать обработку аудио с помощью этой библиотеки?
В курсе по NLP не планировал. Но если интересно, сделаю отдельное видео.
Андрей, большое спасибо за видео! И также было бы очень интересно про обработку аудио!
@@AndreySozykin да, очень интересная тема
Хорошо, попробую сделать. Но не в ближайшее время.
Здравствуйте! Понимаю, что видео совсем ознакомительное, но:
Все представленные в видео русскоязычные модели ужасного качества. Rubert полностью перестаёт определять положительные комментарии как положительные, если в них присутствует абсцессная лексика (Поэтому соответствующие синонимы к слову "Невероятный" будут заставлять модель определять текст как негативный). Библиотека для перевода текста перевела текст "Меня зовут Петька и я создаю сайты" с present continious. Хотя данное предложение должно иметь present simple, так как "Создаю сайты" имеется ввиду на постоянной основе, а не в конкретный текущий момент. Любой переводчик (Например, Яндекс) переводит такие простые предложение правильно.
Вопрос, собственно, следующий - как добиться от моделей результата, который хоть немного применим в реальной жизни и не ломается при попытке работать с текстами чуть сложнее, чем "Добро это хорошо, а зло это плохо"?
Здравствуйте, хочу воспользоваться семантическим анализом текста на узбекском языке, но этот код выдает ошибку, что делать, чтобы проанализировать тексты на узбекском языке?
К сожалению, с узбекским языком никогда не работал, поэтому не смогу помочь.
А тексты на казахском языке можно проанализировать?
Наверное, можно. Но я не пробовал.
@@AndreySozykin мне на диссертацию предлагают это вынести. Боюсь не справится
Курс, конечно, на питоне. Но вопрос выбора языка не пояснялся. Это может быть просто личное пристрастие автора (так называемая вкусовщина), а может быть взвешенный выбор. Мы не знаем, отсюда и вопрос.
Скажите, пожалуйста, какой язык программирования лучше всего выбрать для обработки естественного языка - русского языке? Вопрос нагрузки на сервер предлагаю не рассматривать: если Python практичнее, то его производительности подавляющему большинству заказчиков хватит слихвой. Если иначе сформулировать вопрос, то это вопрос о языке с наиболее мощной инфраструктурой для обработки текстов на русском языке.
В самом первом видео этого курса автор предупредил, что он для тех, кто уже имеет некоторые знания по нейронным сетям, а также оставил ссылку на курс, который стоит посмотреть тем, кто в этой теме впервые.
Ответ по поводу выбора языка был как раз в том начальном курсе. Если вкратце, то синтаксис Python позволяет очень быстро переписывать код, что очень важно так как нейронные сети и ML - больше исследовательские задачи, в которых архитектура ИНС, да и сам набор данных для её обучения постоянно меняются в поиске наиболее оптимального результата. В продакшене код с Python переводят на C++ и на серверах, обычно, уже модель работает на С++. Собственно, сама библиотека Keras для питона написана на C++. То есть вы сначала исследуете данные и обучаете ИНС на Python, а затем переводите его в С++. Поэтому, для начала, стоит изучить Python. P.S. - Я понимаю, что вы написали этот вопрос почти год назад и уж наверняка знаете ответ. Мой комментарий - скорее для тех, кто совсем недавно посмотрел видео и задался тем же вопросом, что и вы.