Vision Pro Своими Руками! || Дешёвый AR проект || Оптимизация, конфигуратор, экран - Апрель 2024
Вставка
- Опубліковано 29 кві 2024
- Господа, здравствуйте! Это пятая часть по моему AR проекту, суть которого заключается в создании дешёвых очков дополненной реальности, схожих с Apple Vision Pro.
Код из видео: github.com/ZernovTechno/AR_he...
Мой Бусти - boosty.to/zernov
Мой ВК - zernovyt
Мой Гитхаб - github.com/ZernovTechno - Наука та технологія
Как вывод- чувак с Ютуба
1) Уже исправил ситуацию с 3 рукой которая есть у вр шлема за 800к.
2) делает стереозрение которые НЕ реализовано на коммерческих моделях вр
3) Полностью открытый код для доработок
Красавчик 🎉
вы бы разобрались с ситуацией 3 рук... это происходит если 1 из твоих ладоней пропадает из поля зрения камер
андроид это тот же linux
можно на android поставить чистый linux для arm с дравами под устройство. Драйвера устанавливаются легко, их можно взять из android прошивки телефона
@@user-izolbuj бред
@@user-izolbuj если андроид запускается на ядре лини кастомном, это не значит что андроид это линь
@@kampot_vkusna6761тем не менее бинарник пайтона под андроид завезли
я молодец 😎 такой вклад внёс, даже непривычно слышать себя на ютубе
Сигма
@@DezerQ Я не сигма, Я 🤫🧏🏿
🌂👎
Sigma👓
Это ты подарил флешку типо?
Удачи в развитии проекта
Ура я этот видос ждал как никогда!
Как всегда интересно, удачи, жду новых видео
Чаёк, пирожок и твое видео=❤
Успехов в проекте!
Спасибо за проект
кааайф новое видео))) кста ты очень интересный тебя приятно смотреть
Радует, что код улучшается! По поводу смены драйверов и настройки камер советую использовать такой паттерн, как стратегия. Это позволит сильно облегчить изменения в коде
Так держать, продолжай 👍👍
Чел реально харош желаю тебе добиться успехов
Я сейчас занимаюсь чем то схожим но по части дизайна я связал себе ремешок для вр как у apple vision и как найду резинку я распечатаю механизм затягивания.Я 3д моделирование занимаюсь 3 года и вязать умею более менее.Сам ремешок уже готов
Очень нравится эта рубрика😅
Урааааа
5 часть❤
Приятно следить за ходом истории
Надо 100% Юнити использовать, там это не только проще сделать, так тебе и просто безграничные возможности по красивому интерфейсу
Ура, новая серия
Удачи тебе в создании! Мы верим что ты справишься:>
*созДании
@@MozIx256 спасибо, я не заметила:)
Бро, проект очень крутой, но я думаю нужно быть прагматиком и понимать что это не уровень питона, т.к. чем больше у тебя будет натива тем быстрее всё будет работать. Как прототип на питоне это классно, но когда вы будете переходить к реальным продуктам или хотя бы к бете я бы советовал что то низкоуровневое и нативное, например c++ и c, c# сюда не относится т.к. он конечно быстрее питона но опять же таки это та же виртуальная машина как на жабе. А так желаю удачи в вашем проекте! Очень классный, буду следить и возможно в будущем стану небольшим спонсором;)
Надеюсь скоро сделайте!
ураураураура, новое видео от самого умного блогера)
Люди:Купить мне apple vishion pro или нет ?
Zernov:сделаю свой apple vishion pro
Современные проблемы - современные решения )
Обожаю этот канал
О новая часть, кстати мне тут недавно в голову пришла одна идея прикольная. А что если сделать преобразователь голоса в реальном мире. То есть что бы ты сам смог выбрать себе голос. И даже пришел в голову механизм устройства. Голос подается в микрофон, из микрофона в нейросеть, которая преобразовывает этот голос и выводит на динамик. В качестве носителя нейросети может выступать телефон, но у меня слишком мало денег что бы этот проект в реальность воссоздать. Поэтому на будущее если этот проект тебя заинтересовал можешь попробывать сделать
Афигеть ждал сильнее чем свой др
Для более лучшего трекинда рук, можно попробовать использовать leap motion, посути дела обычная вебка, но достаточно хорошо отслеживает руки
у меня был белый gear vr и samsung s6 edge. когда подключаешь его к вр, там появляется меню окулус с браузером, разными играми и т.д. И да, там есть функция просмотра с камеры, но ар нет (как я помню)
+ [00:00:00]**Проект Vision Pro**
* Пятая серия разработки AR очков
* Обновления по железу и софту
* Оптимизация для работы под 30 FPS
+ [00:02:34]**Операционные системы и код**
* Переход на родную ОС бортового компьютера
* Код работает как обычный Python код
* Добавлена поддержка разных камер
+ [00:04:24]**Разработка приложений**
* Сложности с созданием приложения на телефон
* Использование веб-сервера на Flask
* Планы по созданию базового интерфейса
+ [00:06:28] **Оптимизация и исправления**
* Оптимизация кода и исправление ошибок
* Ускорение метода наложения изображений
* Планы по дальнейшей оптимизации до 30 FPS
Блин, тебе бы на 3д принтере корпус распечатать
Привет! Я тут тоже что-то похожее делаю :D
Все я поставил каментарий и написал лайк
Если любишь меня,в следующем видео скажи «здравствуйте товарищи»
Здравствуйте, а планируете дли вы сделать программу для трансляции VR по типу RiftCat это было бы супер, так как все существующие программы тормозят... (у меня Meizu mx5)
Привет!,Можеш зделать мини видео разработка приложения для ваше Vision Pro )
Возможно странное предложение но что если использовать к в вижен про два процессора один для трекинга и один для запуска программ.
А что на счет jni и использования нативного с++ кода на ведроиде?
Вк это конечно круто, но очень хотелось бы телеграм групу, более международную площадку
ура круто ура
Уаааа видео 🙃🙂 уаааааа
бро, может можно как то интегрировать в софт шлема что-то на подобии lossless scalling?
Вспомнил, есть же линукс для телефонов, но он дико древний. Эх, если бы его можно было как-то освежить и работать уже на нём...
Разве андроид не базируется на линуксе? Или не то?
Окей, досмотрел видос. Есть открытый андройд. С рут правами тоже не хватит?
@@denatle да, так и есть, но он сделан для обычных пользователей, поэтому его решили сделать более закрытым, чтоб неопытный юзер не убил устройство в первый день пользования
@@denatle я не в курсе, не разбираюсь. Просто вспомнил о существовании других мобильных ос
Android написан на Java, по этому можно очень просто написать приложение на java, в android studio есть все инструменты чтобы получить изображение с flack
Напиши автору😊
Можно было использовать 6dof систему через arcore что бы отслеживалась голова
А че если для трекинга использовать еще одну камеру?
привет, а сходка в екб будет?
Может быть покажусь глупым, Но задам вопрос в 201-ый раз: почему нельзя накатить на Samsung s8 Linux и проводить вычисления на нем
Уже очень скоро
Советую попробовть сервис ai2 та можно замусить видиопоток с сервера ну или с браузера
1) Для того чтобы убрать рамки в браузере можно использовать режим киоска (Kiosk Mode);
2) Для увеличения fps используя opencv лучше убрать буферизацию кадров. Таким образом и уменьшится задержка между реальными движениями и изображением в шлеме.
Тааак. Нормальные советы подъехали, однако.
1) где этот режим включается?
2) буфферизация кадров это встроенная штука cv2, или это то, когда между операциями в коде мы сохраняем картинку в переменную?
1) Можна скачать прогу с Play Market
2) Буферизация в самой либе, если хочеш убрать задержку между операциями, тогда испульзуй асинхронное програмирование. Но лутше розбить все на потоки. В пайтоне есть GIL, но можна сделать псевдо потоки через либу. И еще можна через много задачность, прога тогда разабьотся на отдельние процеси і будет исполнятса в разних ядрах проца (но ето нужно настроить)
обязательно надо будет использовать этот телефон?
А что если сделать VR пространство но оно будет работать только в определенных местах и когда камера заметит стены, полки и т.д. тогда она будет их показывать.
В теории можно же собрать кастомное ядро для телефона с поддержкой дров для камер и через рут получать доступ к этим девайсам 🤔
В теории. На практике на это уйдет больше времени (значительно больше), чем на линуксовый комп)
10/10
1 камера с линзой 0.5 разделить на 2 глаза
Лайк
пишу второй раз, замени телефон на lcd матрицу, на али их куча, 2к, 4к любое разрешение. Это будет более быстрее чем передавать изображение на смартфон, так же не надо будет писать приложение
Если честно я не нашёл. Скинь пожалуйста ссылку. Или код какой-нибудь.
@@zernovtech 3 попытка ответить комментарии с линком удаляются. Магазин называется wisecoco
Слушай, как тебе идея, чтобы сделать модуль для питона, который использует ускоренные функции С++? То есть код будет писаться в питоне, но он будет реально компилироваться и исполняться на С++, что ускорит код во много раз. Так как тебе идея? В ближайшем хочу такое запилить
Идея суперкрутая, но мне такое не удалось. Если сможешь - дай знать
Можно ещё mojo попробовать он почти как питон только со скоростью c++
урррррваакаааа видео
Могу помочь в написании интерфейса или даже приложения на мобилу на python
Привет
О ты из Екатеринбурга? Всего в часе от тебя.
Можно перепрошить телефон на Linux
Харош, проу только не выгори
Так вот кто делает российскую игровую консоль!)
8:20 ну ребят это же не серьезно, все спецификации давно естьв интернетах а вы пальцами тыкайте, очевидно что одна это только камера для цвета и картинки, остальные используются для глубиы, видно на этих кадрах что глубина есть и картинки из глаз отличаются
Нам это просто не нужно)
Это выяснили случайно. Остальные там не совсем для глубины, ИК камеры.
Софт по геар вр уже был от самсунг
И есть приложение cardboard для телефона и кардборда
а что если переложить всё кроме передачи картинки на внешний сервер в виде пк?
>очки подключатся к серверу
>передают картинку с камер
>получают картинку с сервера
итого нет лимитов по мощности, не надо использовать дополнительные компьютеры на лице, и дольше живёт повербанк
Ага, и огромные задержки :D
мне кажется, что пайтон не совсем тот инструмент, который необходим для таких задач
Так, я так понимаю уже запускаете мини вставку вопрос - ответ, поэтому хочу задать свои:
Есть ли у тебя какое-то образование? Мб курсы? Канал на ютубе? Книга?
Интересно было бы узнать твои рекомендации, тем кто хочет заниматься подобным
Есть ли проекты после этого, какие-то идеи/наработки?
Ну и участвовал ли ты когда-нибудь в геймджеме?
Привет!
Отвечу здесь, если ты не против.
Я ещё учусь. Был на курсах 1Т. Канал - моя вторая площадка после ВК, где я уже пару лет публикую техно-статьи.
Рекомендации две - не сдавайтесь и ставьте всё более глобальные цели.
Проекты были, есть и будут. Просто этот взлетел. Наработок море.
В геймджемах не участвовал, как и в хакатонах.
@@zernovtech спасибо за ответ 🙃
Братан можешь завершать разработку meta выпустила horizon OS в общий доступ. И теперь каждый может себе такой шлем сделать 😊
HOS выпустили в доступ для партнёров и под определённое железо :)
@@zernovtech но все же рентабельность проекта ну никакая. Даже если предположить что ты сделал железо хотя опять же оно реально слабое что бы тянуло трекинг то oc написать ну вряд ли сможешь. Ибо тебе нужно будет брать ядро линукса подключать framework и потом еще оптимизировать под железо. Честно не думаю что проект подойдет к стадии завершения
@@weSker0_o Спасибо за критику.
Делаем вывод. Использовать программу для монтажа в браузере, не лучшая идея. И не ожидал под конец увидеть Unity. (Слова NAMEUwU)
а что на телефоне запускать чтобы запустить код?
На телефоне надо просто зайти на IP компьютера, на котором запущен скрипт AR_HeadSet, + порт 5000.
Конечно у пико 4 будет одна камера, самый дешевый шлем на рынке, да и вообще он не под ар.
Честно, не представляю, что выйдет из вашего проекта, ведь без трекинга в пространстве вообще как-то ни о чем, цели существования данного устройства не нахожу
30 fps - просто погибель для вестибуллярки
НО
Следить за вашим проектом реально интересно, ведь ничего подобного ещё не видел. Желаю вам удачи в развитии проекта.
Пико действительно не для AR.
Из проекта выйдет лайтовая штука за десять тысяч, которая умеет показывать разные приложеньки. Трекинг в пространстве тут и не нужен, ибо комп не потянет 3Д.
30 fps - это максимальный фреймрейт камер Pico/oculus.
Спасибо за обратную связь!
Мужик... Кто ты есть...
Хехе, может на расте переписать?
Добыть бы на раст трекинг нормальный...
@@zernovtech медиапайп имеется
@@denatle Опа... Тяжело...
Может и перепишем. А оно сильно быстрее питона?
@@zernovtech хз, но процессинг имгов и тд будет гораздо быстрее. Я потом распишу тикет в дискорде по поводу, у меня много мыслей
С каких пор С# ниже по уровню чем Python, ахаха, просто ладно😂
Да, кстати, ляпнул чушь
Сишка ваще со своей виртуалкой. Наверное я имел ввиду скорость.
Или перепутал с плюсами, сам хз.
@@zernovtech плюсы самый быстрый язык, пайтон тормознутый и медленный, поэтому и тут ты мимо)
@@GangstaWair Ещё раз.
Python высокоуровневый и медленный
C# - виртуалка
C++ - низкоуровневый и быстрый
В чем мимо то?
Не сказал бы, что C# более низкоуровневый чем питон, но он медленнее плюсов, потому что виртуалка. А плюсы быстрые и низкоуровневые, но жестокие с памятью
@@zernovtech во, это я тоже имел ввиду...Думал ты адепт Пайтона и прославляешь этот язык ( таких шизиков много )
а ведь ты реально гений, рано или поздно тебе стоит открыть компанию которая будет разрабатывать вр приблуды ( у тебя правда талант )
Вообще, андроид - это дистрибутив Линукса
Да! Но более закрытый, потому что линукс - открытое ядро, а андройд - операционка под управлением Google :)
Там в андроид такая прослойка Java что не совсем дистрибутив линукса(
Ясненько
Мне кажется мало демонстраций возможностей проека 🎉
Былоб больше - показал бы больше)
Пока на коде зациклены :(
@@zernovtech так, то что не сложно реализовать но интересно смотреть. Например вместе с калькулятором реализовать сапёра
Зачем нужно было писать приложение на c#? как бы есть android студио (на нем же есть webview для показа сайта на flask)
про закрытость вообще не понял, на нем без рута эмулируют линукс нормально а тут просто запустить код и подключить камеры
а с рутом еще легче
про pico 4 pro вообще не понял
это не ar шлем, зачем ему больше одной камеры?
не являюсь хейтером, прикольно что ты таким занимаешься
но зачем все это? максимально колхозный проект
"Не колхоз, а стартап" ))
К автору отношения не имею, но предположу, что просто не хочется доп. стек докручивать. Мб автор знает C# + Python. Android и натив - это больше про Kotlin и Java, а это как минимум добрых пару дней-недель ковыряния по проекту
@@user-ci6ky3ub2i как я знаю, андроид студио поддерживает С# (или c++?)
ну так в любом случаи сделать приложение не за 5 секунд
та скажи пусть тебе деньги на криозаморозку скинут, в 2080 закончишь проект
Низкое качество картинки, маленький fov, дёрганый трекинг, плохое вырезание рук, низкий фпс
Продолжать стоит?
Не защищаю эпл, но это бред, а не замена
Привет! Спасибо за критику, мы ценим это!