Stepan Burmistrov
Stepan Burmistrov
  • 109
  • 333 940
The joint educational program of the RobotX School of Robotics and Skoltech ISB Lab
The joint educational program of the RobotX School of Robotics and the Skolkovo Institute of Science and Technology (Skoltech) ISR Lab in 2024!
Course objectives:
- Exploring the capabilities of the YOLOv8 neural network and its application for processing moving objects using the UR-3 manipulator.
- Using the MediaPipe neural network to control the UR-3 manipulator
- Development of a pipeline for moving objects
- Conducting research on the possibility of working with YOLOv8 on various devices, including mobile mini PCs, Raspberry Pi, Orange Pi, Jetson Nano.
Materials developed during the course:
- Educational materials and code examples for working with the YOLOv8 neural network
habr.com/ru/articles/821971/
github.com/stepanburmistrov/YoloV8
- Research on the work of YOLOv8 on various devices
habr.com/ru/articles/822917/
- Application of the MediaPipe neural network for gesture processing
habr.com/ru/articles/812863/
Subscribe to know more about robotics:
Stepan Burmistrov - t.me/burmistrov_robotics
RobotX School of Robotics - t.me/robot_x_school
Skoltech- t.me/skoltech_daily
Skoltech Robotics Laboratory: t.me/CDE_Skoltech
Professor Dzmitry Tsetserukou : www.youtube.com/@Tsetserukou
Course authors: 👨🏫
- Skoltech graduate student Alexey Fedoseev,
- Professor Dzmitry Tsetserukou (Head of the Skoltech Laboratory of Intelligent Space Robotics),
- Stepan Burmistrov - founder and teacher of the RobotX School of Robotics
Переглядів: 7

Відео

RobotX-Skoltech - курс по компьютерному зрению с YOLOv8 и работе с манипуляьтором UR-3.
Переглядів 3614 годин тому
Совместная образовательная программа Школы робототехники RobotX и Сколковского Института Науки и Технологий (Сколтех) 2024 года! Задачи курса: - Изучение возможностей нейросети YOLOv8 и ее применение для обработки движущихся объектов с помощью манипулятора UR-3. - Использование нейросети MediaPipe для управления манипулятором UR-3 - Разработка конвейера для перемещения объектов - Проведение исс...
Перемещение манипулятора по рассчитанной математической модели
Переглядів 262 години тому
Перемещение манипулятора по рассчитанной математической модели
Система Arm2Arm - для управления промышленным манипулятором UR-3 при помощи жестов.
Переглядів 314 години тому
Система Arm2Arm - для управления промышленным манипулятором UR-3 при помощи жестов.
Детекция объектов базовой моделью YoloV8
Переглядів 3449 годин тому
Обработка изображения: github.com/stepanburmistrov/YoloV8/blob/main/Detection_Image.py Обработка камеры: github.com/stepanburmistrov/YoloV8/blob/main/Detection_Camera.py Обработка видео: github.com/stepanburmistrov/YoloV8/blob/main/Detection_Video.py
Летний интенсив RobotX-Skoltech. 3 неделя. Результаты работы обученной нейросети YoloV8 и MediaPipe
Переглядів 14212 годин тому
Летний интенсив RobotX-Skoltech. 3 неделя. Результаты работы обученной нейросети YoloV8 и MediaPipe
Прогресс, как он есть!
Переглядів 32216 годин тому
Прогресс, как он есть!
Летний интенсив по компьютерному зрению RobotX-Skoltech. Обучение YoloV8
Переглядів 10514 днів тому
Летний интенсив по компьютерному зрению RobotX-Skoltech. Обучение YoloV8 на собственном датасете. Много полезного, в том числе файлы примеров для обучения YoloV8 в постах в телеграм канале: t.me/burmistrov_robotics
Летний интенсив по компьютерному зрению c YoloV8 и работе с манипуляторами UR-3
Переглядів 12114 днів тому
Летний интенсив по компьютерному зрению и работе с манипуляторами в самом разгаре! Сегодня был выезд в лабораторию в @skoltech (Сколтех). Настраивали доступ к манипулятору, осваивали расчет и совмещение систем координат, а также выстраивали логику кода, чтобы в дальнейшем управлять интеллектуальной системой с помощью нейросети YoloV8. И конечно, весело проводили время! Бонус-трек в конце видео!
RobotX - Skoltech. Компьютерное зрение с YoloV8. Детекция объектов
Переглядів 16421 день тому
RobotX - Skoltech. Компьютерное зрение с YoloV8. Детекция объектов
Евробот 2024. Российский этап. Нижний Новгород. День 2. Моменты
Переглядів 47521 день тому
Евробот 2024. Российский этап. Нижний Новгород. День 2. Моменты
Евробот 2024. Российский этап. Нижний Новгород. День 1.
Переглядів 34621 день тому
Евробот 2024. Российский этап. Нижний Новгород. День 1.
РАЗОБРАЛ макетную плату, чтобы разобраться, как соединяются компоненты! #breadboard #макетнаяплата
Переглядів 258Місяць тому
РАЗОБРАЛ макетную плату, чтобы разобраться, как соединяются компоненты! #breadboard #макетнаяплата
НАСТРОЙ свои сервоприводы БЫСТРО и БЕЗОПАСНО! | Сервотестер на 5 каналов #DIY #робототехника #servo
Переглядів 5632 місяці тому
НАСТРОЙ свои сервоприводы БЫСТРО и БЕЗОПАСНО! | Сервотестер на 5 каналов #DIY #робототехника #servo
Никита BigDataьев НАКРУЧИВАЕТ профессионально! #юмор #robotics #сделайсам #робототехника #болты
Переглядів 602 місяці тому
Никита BigDataьев НАКРУЧИВАЕТ профессионально! #юмор #robotics #сделайсам #робототехника #болты
Диоды - ТОЛЬКО ВПЕРЕД! Как работает, и сколько "стоит" такая работа? #DIY #электроника #диоды
Переглядів 1522 місяці тому
Диоды - ТОЛЬКО ВПЕРЕД! Как работает, и сколько "стоит" такая работа? #DIY #электроника #диоды
Школа робототехники RobotX на НТВ! Испытание робота-манипулятора: 24 часа | "Чудо техники" на НТВ
Переглядів 2252 місяці тому
Школа робототехники RobotX на НТВ! Испытание робота-манипулятора: 24 часа | "Чудо техники" на НТВ
Самодельный манипулятор на Arduino, Raspberry с ROS2 для обучения школьников. Механика - Часть 1!
Переглядів 2712 місяці тому
Самодельный манипулятор на Arduino, Raspberry с ROS2 для обучения школьников. Механика - Часть 1!
ВКЛЮЧАТЕЛИ - УВИДЕТЬ ТО, ЧТО СКРЫТО: Как управлять электрическими цепями и что скрыто внутри!
Переглядів 2932 місяці тому
ВКЛЮЧАТЕЛИ - УВИДЕТЬ ТО, ЧТО СКРЫТО: Как управлять электрическими цепями и что скрыто внутри!
ПЕРВЫЙ в РОССИИ отборочный турнир RobotX по регламенту Евробот 2024 - соревнования по робототехнике
Переглядів 4322 місяці тому
ПЕРВЫЙ в РОССИИ отборочный турнир RobotX по регламенту Евробот 2024 - соревнования по робототехнике
DIY - ПОЧТИ БЕСПЛАТНЫЙ источник питания на 5В для макетной платы! Каждый может сделать такой же!
Переглядів 6052 місяці тому
DIY - ПОЧТИ БЕСПЛАТНЫЙ источник питания на 5В для макетной платы! Каждый может сделать такой же!
Урок для курса по электронике - "Последовательное соединение"
Переглядів 902 місяці тому
Урок для курса по электронике - "Последовательное соединение"
О сложностях выбора IDE у начинающих программистов в школе робототехники RobotX
Переглядів 1052 місяці тому
О сложностях выбора IDE у начинающих программистов в школе робототехники RobotX
Урок для курса по электронике - Как работать с мультиметром
Переглядів 6 тис.2 місяці тому
Урок для курса по электронике - Как работать с мультиметром
Обзор особенностей правил и судейства по регламенту Евробот 2024
Переглядів 8243 місяці тому
Обзор особенностей правил и судейства по регламенту Евробот 2024
ПРОСТОЙ и СЛОЖНЫЙ одновременно! Гриппер для робота на обычных DC-моторах с защитой от перегрева!
Переглядів 2944 місяці тому
ПРОСТОЙ и СЛОЖНЫЙ одновременно! Гриппер для робота на обычных DC-моторах с защитой от перегрева!
Выступление на ROS MEETUP 2024. Бурмистров Степан, Жданов Степан. Удаленный доступ к манипулятору
Переглядів 1334 місяці тому
Выступление на ROS MEETUP 2024. Бурмистров Степан, Жданов Степан. Удаленный доступ к манипулятору
Подготовка к Eurobot в школе RobotX
Переглядів 2615 місяців тому
Подготовка к Eurobot в школе RobotX
Движение робота манипулятора UR-3
Переглядів 346 місяців тому
Движение робота манипулятора UR-3
Второй поток Летней Школы Skoltech-RobotX по компьютерному зрению. Июнь 2023
Переглядів 1359 місяців тому
Второй поток Летней Школы Skoltech-RobotX по компьютерному зрению. Июнь 2023

КОМЕНТАРІ

  • @technik12345
    @technik12345 6 годин тому

    Финал убил

  • @govorashi_benis162
    @govorashi_benis162 13 годин тому

    Будешь квас....?

  • @PetrShokal
    @PetrShokal 14 годин тому

    Также Леня......

  • @koroxa8877
    @koroxa8877 10 днів тому

    Привет, а как скачать библиотеку cv2? Можете подсказать команду?

    • @stepanburmistrov
      @stepanburmistrov 10 днів тому

      pip install opencv-contrib-python

    • @koroxa8877
      @koroxa8877 10 днів тому

      @@stepanburmistrov Спасибо😘😘😘

  • @technik12345
    @technik12345 10 днів тому

    Нечестно, вы в лесу

  • @ProLegend918
    @ProLegend918 11 днів тому

    Спасибо что сняли нас)))

  • @technik12345
    @technik12345 12 днів тому

    Крепление для камер в форме креста держащиеся на синей изоленте, это вы на сколько не уверены в этой конструкции?)))

    • @stepanburmistrov
      @stepanburmistrov 12 днів тому

      1. Изолента-синяя. Это гарантирует качество и долговечность соединения 2. Форма конструкции как бы сама говорит: "С нами Бог!". Значит все под контролем 3. Это происходит в лабе ISR в Сколтехе, значит: да прибудут с нами высокие технологии и сила изоленты! Git commit!

  • @spave83rus
    @spave83rus 13 днів тому

    зачем он нужен. не стреляет же

    • @stepanburmistrov
      @stepanburmistrov 12 днів тому

      А разве не очевидно? Это работа "под прикрытием"! Но раз уж вы на рассекретили, предлагаю присоединиться к изучению😉 Подписывайтесь на ютуб и телеграм чтобы не пропустить ценные, и конечно, секретные, сведения

  • @user-rk5co7le4r
    @user-rk5co7le4r 13 днів тому

    Классный контент 👍

  • @sergeisuslov773
    @sergeisuslov773 13 днів тому

    Можно написать код, чтобы точно понять отхерачил ли ты пальцы на промке

  • @araxis1763
    @araxis1763 14 днів тому

    я не знаю как это называется но рука никак не влияет на электронную схему . там просто задержка есть. и ты в момент когда загорится ставишь руку.

    • @stepanburmistrov
      @stepanburmistrov 14 днів тому

      Ну вот как раз не так:) рука создает электромагнитные помехи на входной провод в десятичный счетчик

  • @araxis1763
    @araxis1763 14 днів тому

    нет😊

  • @denisodintsov4334
    @denisodintsov4334 15 днів тому

    Подскажите, возможно ли адоптировать данную нееросеть для трекинга сотрудников в розничной точке (чем занимаются в течении дня) и трекинг входящих клиентов (подсчет и время нахождения внутри помещения)

    • @stepanburmistrov
      @stepanburmistrov 15 днів тому

      Людей-то она и без дообучение детектит. Дальше вопрос задачи, конечно. Но в целом- ответ да!

  • @arkadii8528
    @arkadii8528 15 днів тому

    Klass!

  • @Revenant_sh
    @Revenant_sh 15 днів тому

    С удовольствием бы сделал проект по типу каких-нибудь очков, которые могут распознать язык жестов.)

    • @hyprland
      @hyprland 15 днів тому

      так сделай

  • @Alexander-vi9mg
    @Alexander-vi9mg 18 днів тому

    Ссылкой на репозиторий поделитесь?

    • @stepanburmistrov
      @stepanburmistrov 18 днів тому

      все ссылки, которые я выкладываю в общий доступ есть в моем телеграм-канале. Ссылка в шапке

  • @alexanderlevakin9001
    @alexanderlevakin9001 20 днів тому

    Берем задачу, которую можно решить через cv, но решаем с помощью yolo, параллельно решив задачу с помощью cv на этапе создания датасета :)

    • @stepanburmistrov
      @stepanburmistrov 19 днів тому

      Да, все именно так! Задача обучения Yolo! дальше-то можно и руками датасет размечать, но на первом этапе, для получения результата и проверки логики используется именно такой вариант!

  • @user-ft3by1mt8g
    @user-ft3by1mt8g 20 днів тому

    Расскажите пожалуйста про ручную разметку

    • @stepanburmistrov
      @stepanburmistrov 20 днів тому

      Да, конечно, это есть в планах! Подпишитесь, чтобы не пропустить!

  • @VD-Master
    @VD-Master 20 днів тому

    Говорит интересно, но ни хрена не понятно 😂😂😂

    • @stepanburmistrov
      @stepanburmistrov 20 днів тому

      Предлагаю подписаться еще не телеграм канал и начать проходить курсы на Stepik, тогда станет понятнее

  • @sunfar6423
    @sunfar6423 20 днів тому

    Было бы потрясающе если бы вы оставили все нужные ссылки и код где-нибудь)

    • @stepanburmistrov
      @stepanburmistrov 20 днів тому

      Смотрите посты в телеграм-канале! Ссылка в шапке профиля

  • @jamshoot6475
    @jamshoot6475 21 день тому

    дефолтный флоу обучения, но вот способ получения масок реально крутой, возьму на заметку обычно использовал полуавтомаческое обучение на маленьком датасете

  • @technik12345
    @technik12345 21 день тому

    Квадратов понарисовали, сказали нейросеть.

    • @jamshoot6475
      @jamshoot6475 21 день тому

      да ты и правда шаришь в этой теме)

  • @user-ln3bd8bz4m
    @user-ln3bd8bz4m 21 день тому

    ХУДЕЙ БРАТ!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!ПЖЛСТ

  • @user-ln3bd8bz4m
    @user-ln3bd8bz4m 21 день тому

    ХУДЕЙ БРАТ!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!

  • @nevajno-hto_ya
    @nevajno-hto_ya 22 дні тому

    а что если у меня оно не устанавливает йоло при 1 запуске?

  • @darley-gu3bl
    @darley-gu3bl 23 дні тому

    Очень круто

  • @technik12345
    @technik12345 23 дні тому

    А Рики он будет отслеживать?)

    • @stepanburmistrov
      @stepanburmistrov 23 дні тому

      Конечно, причем без дополнитеного обучения

  • @rimuru4671
    @rimuru4671 23 дні тому

    гудвин ты куда

  • @user-es8qq8wq2n
    @user-es8qq8wq2n 23 дні тому

    Расскажите пожалуйста, что и как вы использовали для автоматизации разметки датасета?

    • @stepanburmistrov
      @stepanburmistrov 23 дні тому

      Обязательно! В ближайшие дни сделаю! Это в плане публикаций!

  • @leolim146
    @leolim146 23 дні тому

    Хороший контент

  • @technik12345
    @technik12345 23 дні тому

    А в другом освещении и заднике будет работать?

    • @stepanburmistrov
      @stepanburmistrov 23 дні тому

      Да! Скоро вы сможете убедиться в этом лично😉

    • @alexanderlevakin9001
      @alexanderlevakin9001 20 днів тому

      В таком сетапе - только если повезет. В частности этап разметки датасета не сработает, так как подобраны конкретные диапазоны цаетов.

    • @stepanburmistrov
      @stepanburmistrov 19 днів тому

      ​@@alexanderlevakin9001но если сделать 3-4 съемки в разных условиях освещения, и подобрать диапазоны под каждый, а потом на собранных данных обучить нейросеть, получаем результат, который будет работать независимо от уровня осещения!

  • @user-cd3cg9ez3d
    @user-cd3cg9ez3d 23 дні тому

    Красота и как хорошо подобран саунд роботов гитаристов, гитаристов.😂

  • @Fakirsha_pa
    @Fakirsha_pa 24 дні тому

    по сути используется типо как пид регулятор для серво, круто было бы сделать полноценный манипулятор с несколькими степенями свободы с такой обратной связью

    • @stepanburmistrov
      @stepanburmistrov 23 дні тому

      ua-cam.com/video/8v1Ju2ImE5g/v-deo.html У меня на канале есть видео о таком манипуляторе

  • @user-rk5co7le4r
    @user-rk5co7le4r 24 дні тому

    Привет команде повербанк от Сергея

  • @user-rk5co7le4r
    @user-rk5co7le4r 25 днів тому

    Привет команде повербанк

  • @user-cd3cg9ez3d
    @user-cd3cg9ez3d 27 днів тому

    Где бы узнать ценник коробочной версии с настройкой трекинга объекта на предсказание?

    • @stepanburmistrov
      @stepanburmistrov 27 днів тому

      Зависит от конкретной задачи, пишите в личку, обсудим)))) 😉

  • @technik12345
    @technik12345 29 днів тому

    А предсказание пути в комплекте?

  • @Andrey532dol
    @Andrey532dol 29 днів тому

    Круто такую штуку прикрутить к очкам дополнительной реальности)

  • @leolim146
    @leolim146 29 днів тому

    Хорошие видео. С удовольствием смотрю.👍

  • @idstrctmsf
    @idstrctmsf 29 днів тому

    Почему bbox'ы не настроил? Приятнее когда объект рамкой выделен.

    • @stepanburmistrov
      @stepanburmistrov 29 днів тому

      Потому что это классификация, про детекцию, сегментацию и прочее в других видео на канале! Подписывайтесь и смотрите

    • @idstrctmsf
      @idstrctmsf 28 днів тому

      @@stepanburmistrov обычная классификация без детекции объектов? Какой смысл классификации снимка с реальной камеры, на которой может быть множество объектов?

    • @stepanburmistrov
      @stepanburmistrov 28 днів тому

      @@idstrctmsf смысл в исследовании метода! смотрите другие видео на канале, там и детекция и трекинг и сегментация

    • @idstrctmsf
      @idstrctmsf 28 днів тому

      @@stepanburmistrov как ты его исследовал? Скопировав блокнот с кегла и скачав притрейн модель?

    • @stepanburmistrov
      @stepanburmistrov 28 днів тому

      ​@@idstrctmsfдопустим это так. Тебе и мне это очевидно. Я, преподаю робототехнику и программирование школьникам, и поверь, им очень интересно, с чего можно начать и куда двигаться дальше!

  • @SergiusBfg
    @SergiusBfg 29 днів тому

    Жду когда народ начнет сам массово прикручивать нейросети управлять машинами

  • @user-tc2fs8ew4i
    @user-tc2fs8ew4i 29 днів тому

    На большом пальце наверно нужно угол мерить .

  • @sinopsys6549
    @sinopsys6549 Місяць тому

    вот кто будет наводить порядок на рабочем месте) осталось компьютерное зрение прикрутить.

  • @sinopsys6549
    @sinopsys6549 Місяць тому

    подписался, жду гайд

    • @stepanburmistrov
      @stepanburmistrov Місяць тому

      Благодарю! В телеграм-канале образцы кода выкладываю! На полноформатное видео, честно скажу, пока не хватает времени!

  • @user-he2eb5ql7u
    @user-he2eb5ql7u Місяць тому

    Привет, уже есть видео о том как до обучить нейросеть?)

    • @stepanburmistrov
      @stepanburmistrov Місяць тому

      Пока еще нет, подписывайся, в скором времени будет 😉

  • @onysis
    @onysis Місяць тому

    Вауу круто

  • @user-pl3wf6jg2p
    @user-pl3wf6jg2p Місяць тому

    Вы используете веб камеру присоедененную к компьютеру или какой-то другой метод съёмки объектов

    • @stepanburmistrov
      @stepanburmistrov Місяць тому

      Да, это обычная вебкамера

    • @seventydev
      @seventydev 27 днів тому

      @@stepanburmistrovПривет, а можно сделать так что он будет анализировать видео готовое? Или сделать снимку через телефон или обс?

  • @unique4883
    @unique4883 Місяць тому

    Большой палец сделай чтоб засчитывался когда первая точка приближается к третьей.

    • @stepanburmistrov
      @stepanburmistrov Місяць тому

      Тут возможно много вариантов, на самом деле! Данный вариант кода, если вы смогли протестировать, зависит и от размера ладони в кадре. Код специально упрощен до минимально рабочего, чтобы сделать "Быстрый старт"

  • @user-ey6rc8mt2g
    @user-ey6rc8mt2g Місяць тому

    Баста айтишник?

  • @levelup6465
    @levelup6465 Місяць тому

    Вот это я понимаю контент. Парень, я даже не знаю каких Богов благодарить за то, что ютуб порекомендовал мне твое видео

    • @stepanburmistrov
      @stepanburmistrov Місяць тому

      Благодарю! Еще телеграм канал есть (ссылка в шапке). Там еще и исходники часто можно найти😉