[Модуль] [Железо] Голосовое управление по ключевому слову на базе Orange Pi Zero и аналогов

Разработка дополнительных модулей, подключение различных приложений.

Модератор: immortal

ialtuhov
Сообщения: 69
Зарегистрирован: Чт фев 14, 2019 9:50 am
Благодарил (а): 12 раз
Поблагодарили: 1 раз

Re: [Модуль] [Железо] Голосовое управление по ключевому слову на базе Orange Pi Zero и аналогов

Сообщение ialtuhov » Ср май 08, 2019 9:35 pm

fandaymon писал(а):
Ср май 08, 2019 9:19 pm
ialtuhov писал(а):
Ср май 08, 2019 9:13 pm

Такой вопрос: мы генерим конкретное слово или фразу, почему система реагирует на вещи вообще не связанные с ним(и)???
Я пока тестировал и настраивал на заднем фоне дочь бегала, болтала, а Алиса меня осыпала приветами и прочей фигней. Через пару минут я все это дело вырубил, аж голова заболела ))))
Особенности работы сноубоя - он ищет похожие на ключ паттерны,а вовсе не распознаёт звук. Когда уровень звука слишком большой, то любой звук будет содержать эти паттерны... Выход - ключевое слово подлиннее, уровень поменьше и микрофон получше
Понял.
Какой микрофон можете посоветовать? Я хочу на кухне воткнуть его в надстроенный потолок по центру дабы реализовать голосовое управление
fandaymon
Сообщения: 1553
Зарегистрирован: Сб янв 13, 2018 5:00 pm
Благодарил (а): 39 раз
Поблагодарили: 574 раза

Re: [Модуль] [Железо] Голосовое управление по ключевому слову на базе Orange Pi Zero и аналогов

Сообщение fandaymon » Ср май 08, 2019 9:50 pm

ialtuhov писал(а):
Ср май 08, 2019 9:35 pm
fandaymon писал(а):
Ср май 08, 2019 9:19 pm
ialtuhov писал(а):
Ср май 08, 2019 9:13 pm

Такой вопрос: мы генерим конкретное слово или фразу, почему система реагирует на вещи вообще не связанные с ним(и)???
Я пока тестировал и настраивал на заднем фоне дочь бегала, болтала, а Алиса меня осыпала приветами и прочей фигней. Через пару минут я все это дело вырубил, аж голова заболела ))))
Особенности работы сноубоя - он ищет похожие на ключ паттерны,а вовсе не распознаёт звук. Когда уровень звука слишком большой, то любой звук будет содержать эти паттерны... Выход - ключевое слово подлиннее, уровень поменьше и микрофон получше
Понял.
Какой микрофон можете посоветовать? Я хочу на кухне воткнуть его в надстроенный потолок по центру дабы реализовать голосовое управление
Из дешевого PS3 Eye, из подороже - борды от Respeaker - 2х, 4х или 6-микрофонный. Возможно хорошо подойдут камеры для конференций - в них тоже микрофонные массивы встроены, но для МДМ я их не пробовал

У меня долго стоял в качестве микрофона Глаз, в принципе ничего, изредка срабатывал на звуки из телевизора. Пришлось повозится с настройкой. Теперь МДМ Ассистент на ReSpeaker Mic Hat (2 микрофонном), удобно что там есть выход на динамик. Для небольшой комнаты нормально. Сейчас в процессе переползания на ReSpeaker 4-Mic Array, так как там есть определение направления откуда пришёл звук, удобно отсекать звуки телевизора
ialtuhov
Сообщения: 69
Зарегистрирован: Чт фев 14, 2019 9:50 am
Благодарил (а): 12 раз
Поблагодарили: 1 раз

Re: [Модуль] [Железо] Голосовое управление по ключевому слову на базе Orange Pi Zero и аналогов

Сообщение ialtuhov » Ср май 08, 2019 9:57 pm

Интересно. Поищу инфу по ним.
Вопрос: ReSpeaker аналоговый или USB? Динамики через него хорошо работаю, Апельсин без проблем идентифицирует вход и выход?
fandaymon
Сообщения: 1553
Зарегистрирован: Сб янв 13, 2018 5:00 pm
Благодарил (а): 39 раз
Поблагодарили: 574 раза

Re: [Модуль] [Железо] Голосовое управление по ключевому слову на базе Orange Pi Zero и аналогов

Сообщение fandaymon » Ср май 08, 2019 10:12 pm

ialtuhov писал(а):
Ср май 08, 2019 9:57 pm
Интересно. Поищу инфу по ним.
Вопрос: ReSpeaker аналоговый или USB? Динамики через него хорошо работаю, Апельсин без проблем идентифицирует вход и выход?
Respeaker это шапка (hat), т.е. ставится прямо на 40пиновый разъём. Она по идее для малинки (у меня ассистент на малине стоит). Драйвера ставятся по мануалу
https://github.com/SeeedDocument/ReSpea ... erry-Pi.md
Возможно на апельсинках тоже пойдёт, но не уверен. В наших краях Raspberry Zero стоит примерно столько же, сколько и Orange Zero, поэтому мудрить не стал и взял,то где сообщество больше
У 4х микрофонного вывода на динамик нет, у 2х микрофонного выход подхватился без проблем
Anaki
Сообщения: 35
Зарегистрирован: Пн авг 06, 2018 12:32 am
Благодарил (а): 0
Поблагодарили: 21 раз

Re: [Модуль] [Железо] Голосовое управление по ключевому слову на базе Orange Pi Zero и аналогов

Сообщение Anaki » Чт май 09, 2019 7:06 am

ialtuhov писал(а):
Ср май 08, 2019 9:13 pm
fandaymon писал(а):
Ср май 08, 2019 9:10 pm
ialtuhov писал(а):
Ср май 08, 2019 8:54 pm

У меня их два, я ранее писал.
Один почему то Апельсин не видит как оборудование, а второй, это Веб-камера с микрофоном, ее я и тестирую
Скорее всего тогда уровень можно микшером отрегулировать. Но если камера без массива микрофонного, то хорошего результата добиться будет сложно - малейший шум и придётся понижать чувствительность и повышать голос
Такой вопрос: мы генерим конкретное слово или фразу, почему система реагирует на вещи вообще не связанные с ним(и)???
Я пока тестировал и настраивал на заднем фоне дочь бегала, болтала, а Алиса меня осыпала приветами и прочей фигней. Через пару минут я все это дело вырубил, аж голова заболела ))))
Детект пользовательских слов в snowboy изначально дает очень много ложно-положительных срабатываний, а то что нейронка создана под английскую речь предположительно увеличивает их количество. Тут есть 2 варианта:
1. Использовать длинные фразы и снижать чувствительность (я использую "булочка с корицей").
2. Использовать snowboy или porcupine с одной из универсальных моделей, мне больше всего понравился porcupine с bumblebee.

Ну и включить chrome_mode, тогда он не будет сыпать приветами при ложной активации.
fandaymon
Сообщения: 1553
Зарегистрирован: Сб янв 13, 2018 5:00 pm
Благодарил (а): 39 раз
Поблагодарили: 574 раза

Re: [Модуль] [Железо] Голосовое управление по ключевому слову на базе Orange Pi Zero и аналогов

Сообщение fandaymon » Сб май 25, 2019 10:02 pm

Дошли наконец-то руки попробовать поставить модуль на новую малинку с Respeaker 4, встала просто идеально, без всяких проблем - авторам БОЛЬШУЩЕЕ СПАСИБО! Очень понравился плагин Гугл ассистент, ответы на запросы типа Когда будет ближайшая игра - это то что надо!
Ну и вообще - работа проделана просто ГРАНДИОЗНАЯ!

Ставил на чистый дебиан с Desktopoм.
Сначала поставил софт для борды https://github.com/SeeedDocument/ReSpea ... erry-Pi.md
Потом mdmTerminal
Ну и для того чтобы удобнее было подстраивать чувствительность массива - pavucontrol
Увеличил уровень где-то в полтора раза и всё - дальше всё заработало без шаманства
За это сообщение автора fandaymon поблагодарили (всего 2):
skysilver (Вт май 28, 2019 9:24 am) • devoff (Пт июн 07, 2019 8:13 pm)
Рейтинг: 2.33%
fandaymon
Сообщения: 1553
Зарегистрирован: Сб янв 13, 2018 5:00 pm
Благодарил (а): 39 раз
Поблагодарили: 574 раза

Re: [Модуль] [Железо] Голосовое управление по ключевому слову на базе Orange Pi Zero и аналогов

Сообщение fandaymon » Пн май 27, 2019 10:19 pm

Взяв за образец плагин GPIO удалось подключить родные леды от Respeaker - теперь всё как у гугл хоум - когда терминал говорит, светодиоды мерцают, когда слушает, светодиоды крутятся... 8-)
Аватара пользователя
buba911
Сообщения: 127
Зарегистрирован: Пт дек 07, 2018 4:57 pm
Благодарил (а): 42 раза
Поблагодарили: 7 раз

Re: [Модуль] [Железо] Голосовое управление по ключевому слову на базе Orange Pi Zero и аналогов

Сообщение buba911 » Пт июн 14, 2019 9:38 am

после запуска можно войти через веб интерфейс для настроек ip_adress:8989
А где можно по подробней почитать, что вообще можно здезь настроить и, что лучше вообще не трогать?
Ато зашел, заблудился и испугался.
Последний раз редактировалось buba911 Пт июн 14, 2019 11:38 am, всего редактировалось 1 раз.
Raspberry Pi3B+ v4.44
Аватара пользователя
Kvantos
Сообщения: 295
Зарегистрирован: Вт окт 31, 2017 1:05 pm
Благодарил (а): 26 раз
Поблагодарили: 49 раз

Re: [Модуль] [Железо] Голосовое управление по ключевому слову на базе Orange Pi Zero и аналогов

Сообщение Kvantos » Пт июн 14, 2019 10:41 am

buba911 писал(а):
Пт июн 14, 2019 9:38 am
А где можно по подробней почитать, что вообще можно здезь настроить и, что лучше вообще не трогать?
вот вики проекта: https://github.com/Aculeasis/mdmTerminal2/wiki
вот телега, где можно поспрашивать: https://t.me/mdmPiTerminal
MDM живет на 4.9.0-8-amd64 #1 SMP Debian 4.9.130-2 (2018-10-27) x86_64 GNU/Linux
Аватара пользователя
buba911
Сообщения: 127
Зарегистрирован: Пт дек 07, 2018 4:57 pm
Благодарил (а): 42 раза
Поблагодарили: 7 раз

Re: [Модуль] [Железо] Голосовое управление по ключевому слову на базе Orange Pi Zero и аналогов

Сообщение buba911 » Пт июн 14, 2019 11:41 am

Kvantos спасибо, просто Апельсинка сейчас не под рукой. Но на сколько я помню зрительно таких пуктов в WIKI нет.
Raspberry Pi3B+ v4.44
Ответить