Додаємо штучний інтелект до дрона: Рівень 1
Вставка
- Опубліковано 20 лип 2024
- Додаємо модель комп'ютерного зору 👀 до дрону DJI Tello за допомогою 📦 бібліотеки mediapipe у 🐍 Python.
➡️ 0:00 - Інтро
➡️ 0:34 - 🧠 Розбираємось що таке штучний інтелект та машинне навчання
➡️ 1:46 - 🎥 Додаємо простий стрімінг відео
➡️ 3:08 - 🎥 Додаємо розпізнавання жестів
➡️ 7:40 - 🛫 Злітаємо та саджаємо дрон за жестами 👍 та 👎, відповідно
➡️ 9:36 - 🛬 Приземляємо дрон, коли нижня камера розпізнає жест відкрита долонь 🖐️, як HoverAir X1
➡️ 10:51 - Аутро
🔗 GitHub репозиторій з кодом: github.com/trye-io/dronie-ai
🔗 Модель розпізнавання жестів: storage.googleapis.com/mediap...
🔗 Офіційний приклад: colab.sandbox.google.com/gith...
🔗 Код з допоміжною фунцією для візуалізації: raw.githubusercontent.com/try...
Попередні відео 📺:
Програмуємо дрон з Python: Рівень 1: • Програмуємо дрон з Pyt...
Програмуємо дрон з Python: Рівень 2: • Програмуємо дрон з Pyt...
Програмуємо дрон з Python: Рівень 3:
#drone #dji #djiryzetello #tello #ryzetello #дрон #python #програмування #it #tech #stem #embeded #iot #ai #mediapipe #computervision #cv #numpy #djitello #model #machinelearning
Де я був раніше! Така крута тема і не менш крута подача матеріалу! Буду з захопленням слідкувати! Дякую авторам!!!
Дякуємо за ваші слова 🤗 Тема штучного інтелекту тільки набирає свої оберти 🚀, і як вважає фундатор однієї з найпродвинутіших AI копаній 🤗 Hugging Face, зараз такий самий час, як був 96 рік для Інтернету.
Хлопці просто супер! Без води, чітко, лаконічно, крутий контент. Окремо хочу сказати про музику на фоні, яка не відволікає і рівень гучності збалансований супер. Так тримати, чекаємо наступних серій.
Дуже вам дякуємо -- такі коментарі нас надихають 🤗
Круто!!Дуже важлива штука...У цій війні переможе той хто першим освоїть розпізнавання цілей та управління великими групами дронів різного призначення за допомогою ШІ. Якщо це в ваших силах, зробіть це!!! Робіть збори- якщо потрібні на це кошти, заязуйтесь з волонтерами, що займаються масовими поставками дронів і впроваджуйте це, не чекаючи, поки держава почне, щось реалізовувати!!
За допомогою ШІ, можна було б використовувати групи маленьких дронів, типу Aquila 16 , з міні зарядами(різних типів), безпосередньо для штурмових дій. Людина просто не забезпечить таку швидкість реакції, щоб міні дроном, оперувати в середовищі окопів, бліндажів, лісу і інших дрібних перепон. А це саме ті випадки де, гине найбільше захисників...І ви тілбки уявіть соби психологічний ефект від такого роду штурмових дій!)
Дуже дякуємо за ваш коментар 🤗 Ми з вами згодні і заради безпеки не будемо багато коментувати 😉
Дякую. Довгих щасливих років до 120+.
Дякуємо 🤗
Молодці, цікаве відео
Дякуємо 🤗
Круто!
Дякуємо 🤗
Круто, спробую відтворити в себе
Дякуємо 🤗
Чувак, ти реально ДУЖЕ крутий.
Я місяць тому купив собі Tello саме для цих потреб - тестувати Computer Vision і доведення до цілей :)
Власне теж в процесі. Проходжу деякі курси. До слова, може є сенс спробувати (сам ще не пробував) додати detectron2. Може я помиляюся, але в теорії там вже багато готових рішень які можуть заощадити час.
Дуже дякую за відео! Продовжуй далі.
Дуже дякуємо за ваші слова 🤗 Вони дуже надихають!
Звичайно, mediapipe -- не єдина бібліотека. Навіть OpenCV має багато вбудованих моделей (і не тільки глибоко навчання), які можна також використовувати. Ми тільки починаємо серію цих відео, тому як то кажуть, stay tuned 🤗
👍
Побачили 👍 -- відправляємо команду "злетіти" 🚀
@@trye-io +
Загалом працює. З цим вже можна гратись і по суті навчити його багато чого на базі тих жестів що є в колекції. Але було круто навчити його розпізнавати голову і щоб він тримаючи дистанцію летів за людиною, супроводжуючи її :)
🤫 Це тема для наступного відео, але нікому не кажіть 😉
@@trye-io 🤝
Виставляєш середній палець, йде скидання ВОГу, робимо V, скидання мін👍👍👍
😂😂😂🤫🤫🤫
У точності нереалізована моя ідея, ти мене випередив!
Говорю всім:Втілюйте свої ідеї відразу,поки вас хтось невипередив!
Та ми також не можемо похизуватись, що були перші 😜 Тому втілюйте свої ідеї не зважаючи ні на що 🤘 А якщо вас цікавить AI, у нас є курс для вас: trye.io/ai-apply/. З ним ви зможете згенерувати ще більше ідей!
Дякую за відео!
Чому б державі не замовити розробку повністю автономного дрона робота у японців, який літав і знищува би без будь якого радіозв‘язку та gps. Я розумію що ми самі класні, але в них окрім програмних напрацювань, ще й апаратна база сама прогресивна. Взяти навіть їх останній телефон, він розпізнає і встигає фокусуватись на оці та або на обличчі, людини під час стрибку сальтом. Можна тільки уявити як щвидко він зможе розпізнавати і відпрацьовувати по ворогу, а також повертатись орієнтуючись по місцевості, єдине нашим треба буде носити якісь маячки, щоб він не знешкоджував своїх.
Я базуюсь на тому з чим зтикався, нажаль в мережі їх досить сильно і жорстоко щимлять, залишаючи їм тільки нішу консолей, я був в цій сфері а також був в колі наших київських обзорщиць електроніки, можу пояснити чому їх щимлять всі, причина проста, бо китайці діляться, корейці діляться на всіх етапах, і дуже рясно, а на японців роблять огляд, щоб не втрачати інтервал виходу відео, і заробіток з них просто нікчемний, вони ні з пациками в магазині не діляться ні з тт, ні з обзорщиками, просто там якийсь зазор невеличкий є і все. Доходить до того що під обзором викладують посилання на фото з камер, а там якість як з камере ноутбука. В них багато технологій про які більшість людей почують тільки через десяток років, в них штучний інтелект 10р назад апскрейлив фільми з 720в 1080 прямо під час перегляду вони заявляють що штучний інтелект розпізнає обєкти і домаловує пікселі опираючись на базу данних в мільйони зображень яким обучали чей штучний інтелект. Екрани на квантових точках були і на телефонах і телевізорах просто цього ніде не написано, і на відміну від інших це небо і земля, по градієнту, по якості білого.
треба автономні дрони навчитись робити більш дешевими й прикладними, на базі тих що зараз збирається по 200-300 долларів. Ми не можем робити великі железякі, але дрони збирати з ШІ модулями задача реальна
почав за одне, закінчив якимось піздецом)
@@ID-su4wj абсолютно згоден але ми наприклад зараз опираємось на бібліотеки гугл з github або чатgbt. І апаратна частина у нас по суті теж загальнодоступна. А я мав на увазі залучити компанію яка має надсучасні можливості як апаратні так і програмні, щоб бути на піку технологій, потім рано чи пізно ми і самі зможемо користуватись їх бібліотеками.
Якщо один такий дрон буде ефективніше ніж декілька звичайних, то його ціна може бути виправданною.
Навіть серйозні компанії конкуренти ставлять їх чипи або модулі, наприклад вони роблять саму швидку буферну пам‘ять в світі, що дозволяє помоєму робити фото 120кадрів в raw. В них також є окремий процессор під ШІ. там купа всього.
Японія 🇯🇵 -- то звичайно любов ❤
@@trye-io дуже приємно зтикнутись з однодумцяи)
Порада що до вирівнявання коду. Для того щоб використати табуляцію на декількох рядках потрібно: 1. виділити потрібні рядки; 2. комбінація клавіш Tab - Для переміщення виділених рядків на одну табуяцію в право; Shift + Tab - для переміщення виділених рядків на одну табуляцію в ліво.
Круто, дуже дякуємо за пораду 🤗 А є якась "розумна" штука у VS Code, яка сама форматує код під PEP 8? Щось накшталт PyCharm'івського Cmd+Opt+L?
@@trye-io є і не тільки. Це ж не vim, є для цього магазин додатків в ньому, і там зможете легко найти потрібний плаґін.
@@tyviz Дякуємо за відповідь! Так, ми використовуємо Pylance та Google Duet, але може у вас є рекомендації щодо інших, більш зручних плаґнів?
@@trye-io нажаль саме з python я не знаю, бо ним не користуюсь.
@@tyviz Все одно дякуємо 🤗
Дякую! Підписався, дзенькнув у дзвоник. Взяв у роботу. Можливо варто вказати на сумісність mediapipe і останніх версій Python?
Дякуємо 🤗 Так, ви маєте рацію, це треба було згадати у відео 🐍
Чи є пізниця між різними версіями dji tello та який краще купляти?
Дякуємо за питання! Ми обговорювали це в попередньому відео: ua-cam.com/video/AXEWBJu6wEs/v-deo.htmlsi=euP6JDgsA7VegW-m&t=116 і також відповідали внизу на питання чим відрізняється Tello та Tello EDU. Tello EDU має в комплекті Mission Pads, але ми їх навіть не відкривали 🙃 Також, Tello EDU можуть бути запрограмовані для рою дронів -- тобто коли одна програма контролює декілька дронів одночасно.
Тому який краще купляти залежить від ваших цілей. Все що ми робили у цьому відео та будемо робити в наступних, буде працювати на усіх версіях.
Думаю я не перший хто хоче натренувати нейронку на розпізнавання ворожої техніки та докеровувати до неї після втрати звʼязку.
Робота в цьому напрямку вже їде?
🤫🤫🤫 На жаль, нічого не можемо сказати з цього приводу на цьому каналі. Можете нам написати: support@trye.io 😉
Дуже топово, скільки ще планується уроків ?)
Дякуємо за відгук 🤗 Десь ще чотири-п'ять, ми тільки починаємо!
@@trye-io якщо не секрет, з яким інтервалом виходитимуть відео?) (у днях)
@@pabloezzcob8423Це не секрет, але дуже важко спрогнозувати. Робимо усе можливе щоб виходили якомога швидше 🤗
@@trye-io на Вас готовий чекати хоч вічність😏
Чудовий навчальний контент🫡❤️
Я і мріяти не міг про такі відео навчальні!!Вас вітає і безмежно дякує Вам Школа Сокіл(Джура) з Переяслава. Ми також Tello Edu юзаємо, opencv і gesture control. На Ютубі є купа цікавезних проектів і на Гітхабі так взагалі..але завдяки Вам ми почнемо розуміти ЧОМУ це працює і як)
Дякую за всі ці відео ! Є питання не з простої цікавості : чи важко обучити свою модель на розпізнавання конкретних «об’єктів» в режимі реального часу та/або вже в якості аналізу готового відео на локальному компьютері ? Можливо є приклади або напрямок для роздумів на цю тему , дякую
Дякуємо за ваші слова 🤗 Із задоволенням відповімо! Напишіть нам, будь ласка, на пошту: support@trye.io
🎉
Кул
Скажіть, будь ласка, який саме це dji tello. Edu чи ryze чи інший
Саме на цьому відео DJI Ryze Tello EDU. Але підійде звичайний DJI Ryze Tello. Тут вони трохи заплутали з назвами: DJI та Ryze -- це дві компанії які випускають цей дрон (приклад зі світу автівок -- Toyota та BMW). На різних ринках вони можуть називатись Ryze Tello або DJI Tello або DJI Ryze Tello. Далі, Tello -- це модель дрона (приклад зі світу автівок -- Supra). А ось EDU -- це спеціальна версія, яка потрібна тільки якщо ви хочете будувати рій дронів (ми поки тільки готуємо про це відео). Приклад зі світу автівок -- це версія GR нашої Supra. Сподіваємось, не заплутали вас! І вибачте за тривалу відповідь!
Як потрапити до Вас на навчання ? Чи є у Вас курс по напряму комп'ютерного зору?
Дякуємо за ваш інтерес -- у нас як раз розпочинається новий курс 6 лютого. Для того щоб потрапити на курс, вам треба залишити заявку внизу наступної сторінки: trye.io/ai-apply/. На жаль, курсу виключно про комп'ютерний зір у нас не має, але в цей курс входять деякі моделі, які можуть вас зацікавити 🤗
Створювати threads для виконання однієї функції дуже ризиково, краще створити один потік, який буде обробляти якусь чергу, а вже в чергу додавити або видаляти необхідні дії.
Теж не дуже, можуть виникати затримки у event-loop-і
Дякуємо за ваш коментар. Згодні, мабуть це не найефективніша реалізація. Але задля proof of concept та навчальної мети підійде (ми не розраховуємо, що дрон буде злітати та сідати дуже багато разів). Як ми зазначали, ми ще будемо обговорювати рефакторінг та оптимізацію у наступних відео і навіть може задля цієї мети використовувати asyncio.
Чи можна цей код якось завантажити на мавік, щоб він виконував команди без всяких стрімів ?
Наскільки нам відомо, схожий SDK існує тільки для другого Мавіка: developer.dji.com. Проте ми ще детально на занурювались у цю тему.
from helpers import draw_landmarksfrom helpers import draw_landmarks какаже що немає такого покету? Чому
Це наш власний модуль, який ви можете завантажити ось тут: raw.githubusercontent.com/trye-io/dronie-ai/main/level-1/helpers.py
Вітаю! Е платні навчання?
Вітаю! Так, ось як раз наш курс починається незабаром у січні: trye.io/ai-apply/
Доброго дня, як можна з вами звʼязатись?
Ви можете написати листа на нашу пошту: support@trye.io
Чи є якась різниця між tello та tello edu?
Різниця у тому, що Tello EDU підтримує рій дронів -- тобто коли ви керуєте декількома дронами одночасно. Тому вартість Tello EDU більша. До речі, подейкують, що випуск EDU припинився в грудні 2023 року, тому краще поспішити.
На даний момент, для усіх наших проєктів можна використовувати обидві версії. Але згодом ми плануємо контент і про рій дронів.
@@trye-io дуже вдячний за вашу відповідь і ваші відео!
@@trye-io Чи можна Tello якось перепрошити, щоб він підтримував рій?
@@TheTriomo На жаль, перепрошити не вдасться, але є інший шляї -- купити Wifi dongle і приєднати два дрони до різних Wifi точок. Детально це описано ось тут: tellopilots.com/threads/swarm-of-2-tello-drones-simple-tello-non-edu-version.6168/
Ми також плануємо розповісти про це в наступних відео!
@@trye-io Ok. Дякую!
а залізо для цього яке потрібно??? расбері??
Підійде будь-який комп'ютер з Wi-fi і з процесором достатньої потужності для аналізу зображень. Весь код ми виконували на Macbook з процесором Intel.
теж цікавить, яке залізо потрібне. якщо перенести виконання коду на сам дрон (зробити його автономним), то що туди за проц потрібно поставити.
можете, будь ласка, перевірити, скільки ресурсів споживають процеси?
@@alexrypun Ми також тестували на п'ятому Raspberry Pi і все працювало (єдине, нам довелося додати охолодження, щоб процесор не тротлив).
> можете, будь ласка, перевірити, скільки ресурсів споживають процеси?
Це залежить від моделі. Скоріш за все, для вашої мети, вам треба буде натренувати кастомну модель або зробити transfer learning якоїсь "загальної" моделі. В цьому випадку, все буде залежити від тієї архітектури, яку ви виберете. Але зазвичай швидкості саме CPU повинно вистачити для 30 FPS. В іншому випадку, можна використати наприклад Nvidia Jetson Nano, але він коштує в два рази вище, або додати Google Coral TPU -- але він і важитиме трохи більше.
@@trye-io дякую за роз'яснення
головне не використовувати середній палець)
😂😂😂
На обложке серый тело, а белый можно так?
Якщо ви маєте на увазі модель Tello (а не Tello EDU), тоді так, він повинен працювати.
@@trye-io Вы мене заплутали, EDU точно програмуемий, а от білий, не понятно
@@MikluhoMacklay Упс 😬, це останнє що ми хотіли зробити. Давайте так -- обидва дрони повинні працювати. Білий -- це просто Tello, сірий -- це Tello EDU, наскільки нам відомо. І наш код також повинен працювати на білому дроні (тобто, просто Tello без EDU).
Ось посилання на форум, де ми це знайшли цю інформацію: forum.dji.com/forum.php?mod=viewthread&tid=188227
@@trye-io оо, дякую, так пишуть что обидва можно програмувати
У мене білий, всі команди працюють, які були на цьому відео, крім переключення камер :( як включити стрім нижньої камери не знайшов... на цей час версія прошивки v01.04, а для EDU вже v02. Тому напевно краще шукати сірий EDU.
На форумах пишуть, що чекають оновлення версії прошивки і тоді може буде працювати переключення на нижню камеру:
I got response from Ryze support. You can switch between forward and downward facing camera with the folllowing commands (requires firmware v02.05.01.17
Цей спосіб я пробував, не працює: drone.send_command_with_return("downvision 1")
Розпізнювач?
Це найкращий варіант перекладу recognizer, який ми знайшли. Будемо раді, якщо ви запропонуєте кращий варіант 🤗
Розпізнавач якось краще звучить
@@olegmikulskiy Згодні -- з цього моменту будемо використовувати саме "розпізнавач" 👍
А голосову команду не ліпше реалізувати? Наприклад через мікрофон?
Звичайно, це теж буде зручний інтерфейс для керування дроном. Але усі відповіді для чого ми це робимо буде у наступному відео 😉