[Модуль] [Железо] Голосовое управление по ключевому слову на базе Orange Pi Zero и аналогов

Разработка дополнительных модулей, подключение различных приложений.

Модератор: immortal

drhellp
Сообщения: 20
Зарегистрирован: Чт мар 08, 2018 6:41 pm
Благодарил (а): 6 раз
Поблагодарили: 3 раза

Re: Голосовое управление по ключевому слову на базе Апельсинки Зеро

Сообщение drhellp » Пн дек 03, 2018 9:47 am

Smart111 писал(а):
Пн дек 03, 2018 12:33 am
Подскажите как передать звук на основной терминал MD . Нужно что бы на Orange PI Zero остался только микрофон, а выход звука был на Orange Pi PC+ , где установлен MD.
Оба компьютера в одной комнате? Что мешает подключить микрофон к Orange Pi PC+? Зачем тогда терминал Orange PI Zero?
Ответы настраиваются в MD в функции say или подобной, вроде.
workpage
Сообщения: 438
Зарегистрирован: Чт авг 24, 2017 9:38 am
Благодарил (а): 51 раз
Поблагодарили: 86 раз
Контактная информация:

Re: Голосовое управление по ключевому слову на базе Апельсинки Зеро

Сообщение workpage » Пн дек 03, 2018 10:30 pm

Вобщем не заборол я микрофон от ps3. Решил пойти другим путем. Купил активный микрофон stelberry m20. Цена 350р. Микрофон - агонь. С 5 метров - легко. Делюсь схемой подключения к Orange pi pc+.
Есть одна проблема. Обратная микрофонная связь. Чуть громкости на колонках прибавишь - всё пищит.
Есть идея звук выводить через Bluetooth. В выходные попробую, Отпишу.
Вложения
IMG_20181203_221312.jpg
IMG_20181203_221312.jpg (4.09 МБ) 4271 просмотр
IMG_20181203_221317.jpg
IMG_20181203_221317.jpg (4.49 МБ) 4271 просмотр
IMG_20181203_221321.jpg
IMG_20181203_221321.jpg (3.47 МБ) 4271 просмотр
workpage
Сообщения: 438
Зарегистрирован: Чт авг 24, 2017 9:38 am
Благодарил (а): 51 раз
Поблагодарили: 86 раз
Контактная информация:

Re: Голосовое управление по ключевому слову на базе Апельсинки Зеро

Сообщение workpage » Пн дек 03, 2018 10:43 pm

Предварительно могу сказать, что микрофон скорей всего нужен без АРУ, потому что распознает фразу очень долго. Закончил говорить, а терминал ещё слушает секунд 10.
Поэксперементирую с другими микрофонами, отпишу
skysilver
Сообщения: 3006
Зарегистрирован: Чт авг 21, 2014 8:28 am
Откуда: Киров, Россия
Благодарил (а): 400 раз
Поблагодарили: 1753 раза
Контактная информация:

Re: Голосовое управление по ключевому слову на базе Апельсинки Зеро

Сообщение skysilver » Пн дек 03, 2018 11:34 pm

workpage писал(а):
Пн дек 03, 2018 10:30 pm
Купил активный микрофон stelberry m20. Цена 350р. Микрофон - агонь. С 5 метров - легко. Делюсь схемой подключения к Orange pi pc+.
Он же от 12в питается. И подключается к Line IN, а не к микрофонному входу.
workpage писал(а):
Пн дек 03, 2018 10:30 pm
Есть одна проблема. Обратная микрофонная связь. Чуть громкости на колонках прибавишь - всё пищит.
Есть идея звук выводить через Bluetooth. В выходные попробую, Отпишу.
Как это поможет?
MajorDoMo (GitHub) на Cubietruck. ОС Debian 7 (wheezy) (kernel 3.4.105) с переносом на HDD.
Мой CONNECT | Блоги | Telegram
skysilver
Сообщения: 3006
Зарегистрирован: Чт авг 21, 2014 8:28 am
Откуда: Киров, Россия
Благодарил (а): 400 раз
Поблагодарили: 1753 раза
Контактная информация:

Re: Голосовое управление по ключевому слову на базе Апельсинки Зеро

Сообщение skysilver » Пн дек 03, 2018 11:37 pm

Я общался с ТП Стелберри по поводу выбора микрофона из их линейки с целью использования в домашнем голосовом ассистенте. Вот, что ответили.

Из достаточно простых и популярных микрофонов можем посоветовать использовать микрофоны М-60 или М-70. Полоса пропускания микрофона M-70 ограничена речевым диапазоном частот 270...4000 Гц, отношение сигнал/шум 63 дБ (http://stelberry.ru/products/M70.html). Звуки за пределами речевого диапазона 270...4000Гц он ослабляет на 36дБ. Некоторым такой звук кажется слишком глуховатым и неестественным. Если требуется более широкий диапазон воспринимаемых частот 80...16000 Гц и более естественный звук, то лучше использовать микрофоны M-60 (http://stelberry.ru/products/M60.html).
Например, компании занимающиеся речевыми технологиями предпочитают использовать М-60, чтобы получать более полный аудиосигнал для дальнейший обработки на компьютере. В автомобиле же для подачи команд голосовому помощнику лучший результат показывает М-70, так как ослабляет низкочастотные и высокочастотные шумы.
Для шумных помещений мы рекомендуем во всенаправленных микрофонах отключать АРУ (автоматическую регулировку усиления). Отключение АРУ, позволяет при наличии фоновых шумов, сохранить хоть какую-то разборчивость речи на записи. В шумном помещении, микрофоны с включенной АРУ использовать не рекомендуем, так как в этом случае, автоматика микрофона настраивается на окружающий шум и считает его основным, а полезный сигнал разговора на фоне усиленного окружающего шума становится не различим.
Для защиты аудиоканалов микрофонов от различных внешних помех, рекомендуем подключать микрофоны экранированными комбинированными кабелями типа, КВК, КВТ, ШСМ, ШВЭВ, и аналогичными. Для расстояний до 150 метров, достаточно кабелей с проводами сечением 0,08мм², для расстояний до 300 метров - не менее 0,12мм². Не рекомендуем прокладывать кабель микрофона (даже экранированный) вдоль силовых кабелей 220/380В и вдоль информационных кабелей "Ethernet", рядом с дросселями ламп дневного света, рядом с радиопередающими устройствами, и рядом с другими источниками сильных электрических помех.

Небольшой тест М-70 https://yadi.sk/d/WDTEoHs8niUmg

Небольшой тест сравнения М-60 и М-70 (прослушивайте в наушниках) https://yadi.sk/d/2H5EsB-lnZXcw
MajorDoMo (GitHub) на Cubietruck. ОС Debian 7 (wheezy) (kernel 3.4.105) с переносом на HDD.
Мой CONNECT | Блоги | Telegram
workpage
Сообщения: 438
Зарегистрирован: Чт авг 24, 2017 9:38 am
Благодарил (а): 51 раз
Поблагодарили: 86 раз
Контактная информация:

Re: Голосовое управление по ключевому слову на базе Апельсинки Зеро

Сообщение workpage » Пн дек 03, 2018 11:44 pm

skysilver писал(а):
Пн дек 03, 2018 11:34 pm
workpage писал(а):
Пн дек 03, 2018 10:30 pm
Купил активный микрофон stelberry m20. Цена 350р. Микрофон - агонь. С 5 метров - легко. Делюсь схемой подключения к Orange pi pc+.
Он же от 12в питается. И подключается к Line IN, а не к микрофонному входу.
workpage писал(а):
Пн дек 03, 2018 10:30 pm
Есть одна проблема. Обратная микрофонная связь. Чуть громкости на колонках прибавишь - всё пищит.
Есть идея звук выводить через Bluetooth. В выходные попробую, Отпишу.
Как это поможет?
У м20 диапазон питания 5-12в. Можно напрямую запитать от юсб.
По поводу обратной связи. Юсб микрофон вообще не даёт обратной связи. Попробую расковырять старую веб камеру и присунуть туда этот микрофон.
djeremy
Сообщения: 23
Зарегистрирован: Пн дек 03, 2018 6:18 pm
Благодарил (а): 7 раз
Поблагодарили: 0

Re: Голосовое управление по ключевому слову на базе Апельсинки Зеро

Сообщение djeremy » Вт дек 04, 2018 7:20 pm

Подскажите что не так, ставлю образ для юсб микрофона успешно все работает, но мне надо еще накатить mplayer на апельсинку и в ответ

E: Failed to fetch https://apt.armbian.com/pool/xenial-des ... _armhf.deb server certificate verification failed. CAfile: /etc/ssl/certs/ca-certificates.crt CRLfile: none

E: Failed to fetch http://ports.ubuntu.com/pool/universe/m ... _armhf.deb 404 Not Found [IP: 91.189.88.150 80]

E: Unable to fetch some archives, maybe run apt-get update or try with --fix-missing?

Гуглил как мог, но так и не понял почему ругается. В армбиан конфиге сменил зеркало - смог поставить но стал ругаться на pyton3
djeremy
Сообщения: 23
Зарегистрирован: Пн дек 03, 2018 6:18 pm
Благодарил (а): 7 раз
Поблагодарили: 0

Re: Голосовое управление по ключевому слову на базе Апельсинки Зеро

Сообщение djeremy » Ср дек 05, 2018 8:49 pm

Отпишусь, как итог, перепробовал пожалуй все образы представленные на этих страницах, все работают за исключеним того что в каждой написано при включении питания апельсина проговаривает свой айпи. Блин, из за этого я столько времени потратил на поиск того почему так не получается у меня))) в итоге она и не проговорит его никогда до тех пор пока вы не настроите ini файл. Но лучший "образ" я советую ставить с этого сообщения viewtopic.php?f=5&p=83334#p83334 от dance12r за что ему огромная благодарность! его образ чистый и потом накатываются с гита все необходимое + я поставил mplayer что нельзя поставить на иные образы - см сообщение выше. И теперь апельсинка полноценный терминал способная слушать говорить и играть музыку одновременно не мешая самой себе, а сам сервер наконец то можно отключить от колонок и закинуть в холодный угол.
Аватара пользователя
lanket
Сообщения: 1168
Зарегистрирован: Вт окт 14, 2014 11:27 pm
Откуда: Санкт-Петербург
Благодарил (а): 260 раз
Поблагодарили: 163 раза

Re: Голосовое управление по ключевому слову на базе Апельсинки Зеро

Сообщение lanket » Чт дек 06, 2018 8:25 am

На данный момент активно доделывается вторая версия терминала силами dance12r.
Много чего добавлено и оптимизировано.
С моей стороны из за нехватки свободного времени медленно но переделывается модуль управления второй версией.
В связи с большим различаем от первой версии в лучшую сторону поддержка первой не будет.
После обновление модуля, с первой версией терминала модуль работать не будет, просьба обновить терминал заранее.
Текущая версия модуля со второй работает, но нельзя поменять большинство настроек в терминале, для этого надо через ssh вручную править settings.ini

Ссылка на образ второй версии от devoff
Github второй версии

Инструкция к образу :

Devoff:
https://yadi.sk/d/Q3mgSfDptgakCQ

Образ для orange pi zero h2 с микрофоном USB PS EYE

Будет работать и с другим микрофоном, но нужно ковырять asound - готовые конфиги есть в папке asound


1. Вставить ethernet, микрофон, колонки (наушники)
2. После загрузки терминал скажет свой IP адрес
3. Зайти в МДМ в Настройки > Терминалы - добавить новый и ip адрес
Галочки MajorDroid API, может проигрывать медиа-контент, если хотите, что бы терминал дублировал системные сообщения, то галочку может принимать уведомления от системы (это все в ветке Альфа, на мастере проверю)
4. Установить модуль - Маркет дополнений - Оборудование - MDM VoiceAssistant
5. В настройках модуля выбрать терминал, добавить ключи API если есть, чувствительность на 0.7 (для тестов, потом уменьшить)
6. Запись ключевых слов
каждое ключевое слово нужно записать 3 раза, терминал голосом обозначит начало и конец записи, все 3 записи должны быть одинаковые.
Для работы в режиме chrome_mode (когда можно говорить ключевое слово + команда) рекомендую записать 3 слова с одним и тем же ключем, так будет больше шансов что терминал вас поймет, можно чуть разными интонациями.
после всех записей - кнопка "применить", это перезагрузит модуль.

Из известных проблем -
1. Гугл не даст терминалу распознать голос, если не правильно указана дата, я добавил в автозагрузку авто обновление даты.
2. В данный момент в мастер ветке не работает ASK, то есть уточняющие вопросы работаю как просто SAY
3. Если микрофон не слышит - выньте и вставить его обратно.

login: pi
password: qwertyui

Ссылка на гит - https://github.com/Aculeasis/mdmTerminal2
Описание всех настроек, их гораздо больше чем в модуле, мы работаем над этим - https://github.com/Aculeasis/mdmTermina ... ttings.ini


Отправлено с моего Mi Note 3 через Tapatalk

За это сообщение автора lanket поблагодарили (всего 3):
drhellp (Чт дек 06, 2018 9:16 am) • fandaymon (Чт дек 06, 2018 10:00 am) • workpage (Чт дек 06, 2018 8:31 pm)
Рейтинг: 3.49%
Разработка голосового асистента для Мажордомо по любому ключевому слову.
:arrow: Обсужение
:arrow: gitHub 2й версии терминала
:arrow: GitHub модуля для МД
gitHub сырого модуля 2й версии
:arrow: Connect
Rasberry Pi 2, MDM, MySensors. И говорящий апельсин.
workpage
Сообщения: 438
Зарегистрирован: Чт авг 24, 2017 9:38 am
Благодарил (а): 51 раз
Поблагодарили: 86 раз
Контактная информация:

Re: Голосовое управление по ключевому слову на базе Апельсинки Зеро

Сообщение workpage » Чт дек 06, 2018 8:39 am

Хватает производительности H2 и wifi? Имеет смысл заморачиваться с zero h3/h5 или другими олноплатниками?
Ответить