Управление голосом сервером умного дома Home Assitant с помощью Voice Assistant и USB микрофона
Вставка
- Опубліковано 29 січ 2024
- В данном видео управление голосом сервера Home Assistant делал на:
Raspberry pi 5: alii.pub/6vrwqq?erid=2SDnjdh3eGQ
usb_microphone: alii.pub/6vrwrw?erid=2SDnje9jRLc
USB микрофон конечно-же я бы такой не советовал. Надо что-то сильно получше. Так-же для уменьшение задержек от команды до исполнения (у меня это 6 секунд). Надо сервер как можно мощнее.
Распознавание голоса выполнено с помощью 4рех дополнений:
Whisper, Piper, openWakeWord и Assist Microphone.
С этими настройками управление голосом активируется по фразе.
Все это дело я еще описал у себя на сайте: psenyukov.ru/управление-голосо...
Меня можно поддержать на Boosty: boosty.to/upavla
Подписаться на телеграмм канал можно по ссылке: t.me/+K05yDjyd4tJmYjky
или
t.me/ypavla
Мой 3d принтер: alii.pub/6bu5tp
Крутой тепловизор Infiray p2 pro: alii.pub/6qyhgs
Теги: #Упавла! #homeassistant #умныйдом #voiceassistant
================================================
Помощь каналу: www.donationalerts.ru/r/ypavla
Реклама: ООО "АЛИБАБА.КОМ (РУ)" ИНН: 7703380158 - Наука та технологія
![[#8] Умный дом без интернета - перестанет работать?](http://i.ytimg.com/vi/Wpez5cLXpG8/mqdefault.jpg)
![[#8] Умный дом без интернета - перестанет работать?](/img/tr.png)
Подписывайтесь на мой телеграмм канал: t.me/ypavla
стоит добавить не просто "мощность компьютера", а словарь языковой модели или как он там называется - чем он больше по объему, тем больше ресурсов требуется, но и сильно лучше результат распознавания. Плюс своего помощника в том, что сказанное остается в пределах сервера и в никакой условный Яндекс не утекает.
в общем и целом пока до алексы будешь докрикивать пока она тебя распознает уже сам зайдёшь в. виджет и активируешь сцену😅, но в целом видео как всегда полезное спасибо за труды!!!
Вшиспер:))))) Это пять!!!
Спасибо за информацию😊
Круто когда обьясняют такое, прям респект за работу, конечно есть и лучше решения, в видео он сказал про Алису, но все же!!!
спасибо за проделанную работу
да, сыровато, но это уже хорошее начало.
Видел на просторах интернета опенсурс помошника irine от janvarev. Очень интересно как его прикрутить к HA, т.к. возможностей у него намного больше, и варианты голоса есть получше.
Все дополнения что ставятся через магазин, вроде разворачиваются в отдельных докер контейнерах. Можете скинуть названия образов? а то там только на один Whisper вариантов больше 10 страниц :)
Лет 7 назад, когда купил Orange Pi Plus 2E, не помню по какому мануалу подключил Google Assistant (настраивалось из консоли в Armbian). Затем написал на питоне скрипт к нему для управления интернет радио. Пользовался встроеным микрофоном. Все работало как часы, голосовые команды хорошо распознавались во время проигрования музыки, что тогда меня удивило, но зависило конечно же от громкости звучащей музыки из динамиков. Не было никаких задержек в исполнении команд, редко когда нужно было повторять команду второй раз.
Скорее всего, в вашем случае, такая нагрузка на проц. возникает из-за алгоритмов работы самого home assistant и всех, этих голосовых дополнений, ресурсов, тем более вашего оборудования с головой должно хватать для распознания голоса.
Можно ли установить 2 USB-микрофона?
Да ещё бы правда видео по работе микрофона через джек и по использованию микрофона блютуз колонки такие тесты глянуть
те у кого нет алисы , самое то!!! И да есть еще огромный плюс, оно работает без инета!!!
Попробуйте в качестве TTS использовать RHVoice, по мне лучше проговаривает
Насколько я понял, озвучиваешь необходимий сценарий и он срабатывает?
Попробовал, реакция моментальная, проц e3-165l v2, даже не грузит почти, но качество распознавания отвратительное, можно как-то улучшить его?
Разобрался, просто стояла минимальная модель...
Спасибо за видео. Попробовал с хорошим микрофоном. Результат так же не очень. Проблема с распознавателем речи, например слово (включи) он упорно распознаёт
как (в ключи) и естественно не включает -)) из 10 попыток примерно 1 срабатывает. Может распознаватель можно как то дообучить ? (будем изучать мануал)
Задержка ответа или действия при инициализации голосового помощника через подключенный к серверу микрофон, похоже прописана где то в конфигурации, ресурсы процессора на скорость ответа не влияют.
Есть вариант локальную базу whisper скачать. Есть интеграция от alexit. Но там предупреждение, что она много ресурсов кушает и весит
Продолжаю наблюдение.
Поставил базу Medium-int8 стало значительно лучше. (сервер PROXMOX core i3 12100f, 8Gb, сейчас выделены все 4 ядра под HA, голосовой запрос нагружает до 25%) Заметил, что когда близко говорить в микрофон, распознаёт быстрее (2- 3 сек). Когда отдаляешься от микрофона, тоже распознаёт но значительно медленнее (6 - 8 сек) Для быстрой работы Whisper рекомендует использовать видеокарту. Не знаю насколько это целесообразно для умного дома, с учётом немалого потребления видеокартой электричества 24/7, удовольствие кричать в доме - окей Набу включи розетку -, будет довольно финансово затратно -) Но всё равно любопытно. @@upavla
А есть управление жестами через веб камеру ?
О таком не слышал. Xiaomi лампа только знаю умеет воспринимать пару жестов.
А если подключить не юсб а аналоговый через джек?
Хз, тут я чето не подумал. Не уверен, что звуовая карта raspberry pi определилась
@@upavlaтоже подумал про аналоговый микрофон. Сто процентов что у вас настроена ALSA, а может еще и PulseAudio. Если работать со звуком на вход (микрофон) через АЦП, а на выход (усилитель/колонки) черз ЦАП, то ресурсы основного процессора сильно освобождаются. У меня, например, все это делает внешняя звуковая карта, у вас на малинке АЦП/ЦАП скорее всего на борту (наверное на вариантах попроще тоже внешняя карта нужна). Пока коммент писал, глянул по-быстрому, аддоны для PukseAudio точно есть. И видел что TTS пускают через MPD, соответственно ALSA, как минимум, через прокладку мпд доступна. P.S. это все для "подумать" и про то как получить микрофон высокого качества/чувствительности с гораздо меньшими вложениями
@vmabramenko alsa это ппц конечно. Но у меня там стоял hasos. Хз что там у него. Может и alsa
Здравствуйте. Так можете подсказать, как решить проблему "Ваше подключение к Home Assistant не защищено с помощью HTTPS. Это приводит к тому, что браузеры блокируют доступ Home Assistant к микрофону.? Андроид 14.
Такое на айфонах вроде
Вероятно, настроить https на НА и , может, выпустить и добавить в НА сертификат Lets Encrypt.
А у меня пишет Ваше подключение к Home Assistant не защищено с помощью HTTPS. Это приводит к тому, что браузеры блокируют доступ Home Assistant к микрофону.
Уже так случилось у одного. У Вас Apple?
Так он делает это из приложения для телефона (не из браузера).
@@romanenot и в браузере тоже самое
Так это без тырнета будет работать?
Да, это работает без интернета
Добрый день. Можно ожидать видио про микрофон на esp, микрофон в каждую комнату? А можно сделать видео про подключение колонок по воздуху, в каждой комнате со своей музыкой?
Да, микрофон на esp. Буду делать
@@upavla очень нестабильная штука, нон стопом спамит сервер аудиоданными, да и только ленивый не повторил. Если есть свободный одноплатник, собирай сразу wyoming-satellite (первый линк в гугле) с локальным wakeword. Если ещё и на оранже сделаешь, то вообще уникальный контент будет.
Ну тут уже мы "слишком много кушать" уж больно быстро привыкли к алисам/марусям/алексам и теперь воспринимаем ГА от НА как некую диковину ))) Я, например, буду ждать "допила" тут как то сервера яндекса захворали и Алиса кирдыкнулась, вот жеж боль была...как выяснилось семья то прям привыкла к ней ))) Годик и будет норм локально работать, надо как то гугловский корал под это дело прикручивать )) будет мини пк обвешаный их TPUшками стоять )))
брат у тебя всё хорошо я увидел твои вкладки ты обогнал моего руководителя на 4 вкладки !
Добрый день Как решить проблему "Ваше подключение к Home Assistant не защищено с помощью HTTPS. Это приводит к тому, что браузеры блокируют доступ Home Assistant к микрофону."
Выкинуть iPhone и купить Android :)) я так понял эта проблема на iPhone и как ее решить, я не знаю. Так как у меня андроид
Спасибо.@@upavla
Пожалуй продолжу пользоваться с алисой
Коллега, а как заставить алису управлять HA?
@@israfilibrahim9761 там же есть интеграции
@@israfilibrahim9761 Поставить интеграцию Yandex Smart Home из HACS
@israfilibrahim9761 легко и просто. Все уже есть на канале. Ищите видео.
tts какое то дно, есть чтото приличное, или с робо голосом как в киношках?
Забавно конечно, но всё же проще поставить Алису в каждый угол и через неё управлять всем.
В Алисе проблема когда нет интернета, она не выполняет команды
Тоже пользуюсь колонкой с Алисой и интеграцией Yandex Smart Home. Всё прекрасно работает. Умный дом ест все объекты, которые указываю в интеграции, датчики, камеры, кондиционер, реле/розетки и пр, причем с привязкой по локациям (комнатам).
Если делать передачу именно команды из колонки в HA, то тут возникает проблема точности команд. А так понимание и распознавание команды перекладывается на яндекс)))))
Тогда дядя Майор будет знать сколько раз на дню пердит каждый из проживающих в твоём доме.
@user-db1zg5jd4m вот мне нечего скрывать :) а Вам? :)
Яндекс - фашисты.
А у кого HASS стоит на виртуалке Питона - идут лесом )
виртуалка питона - это что такое?
@@u17l305194817 Home Assistant Core: Manual installation using Python virtual environment.
медленно жуть ..... на распознавание команды 5-15 сек и при том качестве распознавания это ещё раза 3-4 надо повторить и не факт что правильно распознает. может какие настройки можно покрутить ..
Установил на HA Supervisor. Платформа Intel NUC. распознает крайне уныло. с дикцией все в порядке, максимально медленно и членораздельно проговариваю, и все равно раз на третий понимает. что касается Assist Microphone тут отдельная хохма: он после отнократного срабатывания уходит в себя и не отвечает более на внешние раздражители. в лог ничего не пишет. после перезагрузки модуля все по-новой. Распознал\не распознал- до свидания. На официальном форуме нашел еще пару бедолаг с подобной проблемой. Предложили откатить ядро до январской версии, мол там все работало. Откатил, расстроился что похерилось половина моих интеграций, вернул все обратно. Придумал вилы: автоматизация перезагружает модуль Assist Microphone через 10 секунд после получения wake world. ) Ждем обновлений :)
А, еще пытался менять модели whisper, так вот не вышло в модели medium-int8 whisper уходит в циклический ребут. что бы это значило...?
такая же проблема с новой версией ядра, если появится решение, напишите пожалуйста, слежу за форумом зарубежным, пока тихо(
Вышло новое обновление аддонов все заработало, ура!
@@Kentavr_ итак да, победа: после обновы assist microphone больше не вешается после однократного срабатывания, но увы распознавание всё ещё грустное. Мне удалось запустить mrdium-модель whisper. Распознает гораздо лучше, но при этом нагружает ЦП сервера на максимум и время обработки занимает около 10 секунд )
@@druzzer111это точно, я пока тестирую на base, тут чуть лучше по процессору, но распознание через раз, попробую поиграть с настройками громкости и подавления шума
Микрофон похоже так и не дошел)))
Спасибо. Алиса рулит
Этот синтезатор голоса, это конечно ужас! Этим лучше не пользоваться.
Вшиспер ахахахх, пожалуйста проверяйте произношение английских слов хотябы в переводчике. Режет слух😢
Не буду. Мне пофиг на этот язык :)
@@upavla тогда уж, если пофиг, сразу говорите "шептатель" :) А то какой-то "вшиспер-блохастер" получается.
Шептун и трубач
@AlexanderSmirnovXYZ ну эт я из вредности конечно. :)
@user-rw6qd7fz4m главное не пустить этого самого Шептуна
ШТА??? «ШИСПЕР»???
Ага
@@upavlaВиспер он.
ЖДЕМ С ЕСПушкой
Первый!😊