[Модуль] [Железо] Голосовое управление по ключевому слову на базе Orange Pi Zero и аналогов

[lanket]

https://cloud.mail.ru/public/KcQY/vVPqTt9tJ
ядро 3.14.113
Образ терминала с утановленными плагинами Веб интерфейс и Google Assistant
вывод звука 3.5
микрофон ps3 eye
после запуска можно войти через веб интерфейс для настроек ip_adress:8989
для работы Google Assistant необходимо зарегистрировать новую модель устройства по инструкции
https://github.com/Aculeasis/mdmt2-google-assistant
google-auth-oauthlib[tool] google-assistant-grpc установлены (на плате с 256Mb памяти возникают сложности )
пользователь:root
пароль:25201540
Образ с карты 4Гб

https://yadi.sk/d/IkGqV4AmPxzihw
ядро 4.19.20
Образ терминала с утановленными плагинами Веб интерфейс, Google Assistant и STT через Google Assistant
вывод звука 3.5
микрофон ps3 eye
после запуска можно войти через веб интерфейс для настроек ip_adress:8989 логин admin без пароля
для работы Google Assistant необходимо зарегистрировать новую модель устройства по инструкции
https://github.com/Aculeasis/mdmt2-google-assistant
google-auth-oauthlib[tool] google-assistant-grpc установлены (на плате с 256Mb памяти возникают сложности )
пользователь:root
пароль:25201540
Образ с карты 8Гб

Предпочтительней использовать 4 ядро меньше нагрев (в стандартном корпусе температура 45° - 55° в 3 ядре 70° - 80° ), но есть проблема со звуком, которая решается установкой внешней звуковой картой

Добавил в шапку, также там добавил и свой образ на H5 но чето он долго пакуется, а спать уже хочется, поэтому ссылку правильную на свой имидж сделаю завтра когда залью в облако.

[lanket]

Еще Имидж
OPI Zero Plus H5 512 ядро 4.19.20
Образ терминала с утановленными плагинами Веб интерфейс, Google Assistant и STT через Google Assistant
вывод звука 3.5
микрофон ps3 eye
после запуска можно войти через веб интерфейс для настроек ip_adress:8989 логин lanket без пароля
для контроля состояния установлен rpimonitor доступ к нему ip_adress:8888
для работы Google Assistant необходимо зарегистрировать новую модель устройства по инструкции
https://github.com/Aculeasis/mdmt2-google-assistant
google-auth-oauthlib[tool] google-assistant-grpc установлены (на плате с 256Mb памяти возникают сложности )
пользователь:root
пароль:mdmpiterminal
пользователь:pi
пароль:qwertyui
Образ с карты 16Гб сжатый, в теории должен встать на 4G флэшку
Если не получиться, то перезалью с уменьшением размера разделов.

[2007-i]

А как настроить встроенный микрофон который на плате расширения, куда смотреть в alsamixer, audio capture mode [main mic, mic1_2 или line in]?
Или я не то включаю?
Хочу проверить этот микрофон как работает, может поставить вместо него микрофон с усилителем. Но проверить и подключить не получается.
Проверяю скриптом:

Код: Выделить всё

arecord -M -f S16_LE -r 16000 -c 1 --buffer-size=204800 -v /tmp/sample.wav

пишет:

Код: Выделить всё

ALSA lib pcm_dmix.c:968:(snd_pcm_dmix_open) The dmix plugin supports only playback stream
arecord: main:722: audio open error: Invalid argument

Или надо еще смотреть asound.conf, только какой параметр.

Плата Orange pi zero.

[lanket]

А как настроить встроенный микрофон который на плате расширения, куда смотреть в alsamixer, audio capture mode [main mic, mic1_2 или line in]?
Или я не то включаю?
Хочу проверить этот микрофон как работает, может поставить вместо него микрофон с усилителем. Но проверить и подключить не получается.
Проверяю скриптом:

Код: Выделить всё

arecord -M -f S16_LE -r 16000 -c 1 --buffer-size=204800 -v /tmp/sample.wav

пишет:

Код: Выделить всё

ALSA lib pcm_dmix.c:968:(snd_pcm_dmix_open) The dmix plugin supports only playback stream
arecord: main:722: audio open error: Invalid argument

Или надо еще смотреть asound.conf, только какой параметр.

Плата Orange pi zero.

В папке ~/mdmTerminal2/asound/
Есть несколько готовых конфигураций.
Пробуйте.

Отправлено с моего Mi Note 3 через Tapatalk

[Sandr]

Не уверен что здесь нужно искать ответ но всеже...
На Малине поднят МЖД + голосовой терминал
Также настроен api.ai

Итак:
Произношу фразу "ключевое слово" как настроение?
В строке истории событий МЖД вижу

16:44 Алиса: У меня всё чудесно. Спасибо, что интересуешься.
16:44 Admin: Как настроение

А вот в динамике тишина...
Пишу в меню (на странице МЖД) тот же текст, получаю голосовой ответ

2019-03-16_17-02-36.png (13.7 КБ) 4712 просмотров

Если же голосовая команда попадает по Шаблон поведения - то ответ тоже голосом

[AlexFox]

Всем привет. дождался микрофона... Нужна помощь в настройках mdmTerminal2.

1. Каким файлом генерируются фразы в src/data/phrases_ru.json? в mdmTerminal - в форме было, а mdmTerminal2 - не нашел.
hello: Произносит при голосовой активации терминала, не будет произносить их если no_hello = on (но тут беда, через пару перезагрузок файл mdmTerminal2/src/settings.ini обретает дефолтное состояние, почему так, ведь через интерфейс эта настройка не выведена вроде, прописывается только в самом файле?).
deaf: Произносит если терминал ничего не распознал - как отключить?
ask: Произносит при переспрашивании, работает если ask_me_again больше 0.
С hello и ask - понятно, в настройках mdmTerminal2/src/settings.ini, а deaf?

2019-03-30_1049.png (15.5 КБ) 4612 просмотров

2. При высокой чувствительности микро, идет постоянное распознавание, и выходит оно прерывает любой say терминала, т.е. я говорю - "Алиса привет" (должна ответить "Здравствуйте"), распознает, отвечает - "Здра" и дальше Player: Stop playing и идет распознавание уже следующей фразы. Т.е. за пол миллисекунду она не успевает сказать свой say. Как это побороть?

2019-03-30_1051.png (18.18 КБ) 4612 просмотров

Заранее благодарен!

[Anaki]

Всем привет. дождался микрофона... Нужна помощь в настройках mdmTerminal2.

1. Каким файлом генерируются фразы в src/data/phrases_ru.json? в mdmTerminal - в форме было, а mdmTerminal2 - не нашел.
hello: Произносит при голосовой активации терминала, не будет произносить их если no_hello = on (но тут беда, через пару перезагрузок файл mdmTerminal2/src/settings.ini обретает дефолтное состояние, почему так, ведь через интерфейс эта настройка не выведена вроде, прописывается только в самом файле?).
deaf: Произносит если терминал ничего не распознал - как отключить?
ask: Произносит при переспрашивании, работает если ask_me_again больше 0.
С hello и ask - понятно, в настройках mdmTerminal2/src/settings.ini, а deaf?
2019-03-30_1049.png
2. При высокой чувствительности микро, идет постоянное распознавание, и выходит оно прерывает любой say терминала, т.е. я говорю - "Алиса привет" (должна ответить "Здравствуйте"), распознает, отвечает - "Здра" и дальше Player: Stop playing и идет распознавание уже следующей фразы. Т.е. за пол миллисекунду она не успевает сказать свой say. Как это побороть?
2019-03-30_1051.png

Заранее благодарен!

1. stts.py.
hello: не должно слетать. Или настройки перезаписываются или файл настроек бьется (тогда должны слететь все настройки).
deaf: никак, но можно оставить пустые фразы в phrases_ru.json, тогда не будет их произносить. Или [settings] chrome_mode = on.
2. [settings] no_background_play = on

[ialtuhov]

Всем привет.
Углубляться особо не буду в историю, столкнулся с такой проблемой: установил на Апельсин из готового образа (пробовал и 3 и 4 ядро). Все завилось, сказала IP (правда не соответствующий действительности), но USB микрофон не хочет работать.
Микрофон такого типа: https://ru.aliexpress.com/item/USB-Driv ... 0000000000
На нем есть индикация, при подключении начинает мигать, если завелся индикатор горит. В Апельсин включаю, начинает мигать и не перестает.
Как устройство его тоже не видно.
Кто подскажет куда копать???

[lihodeev]

У меня микрофон не заработал через USB платы расширения, а через непосредственно USB апельсинки -завелся

[krepton85]

А у меня система Армбиан почему то вообще не поддерживает на orange PI Zero (H2) микрофон, как заставить ее поддерживать?
вот такая сборка Армбиан:

СпойлерПоказать

2019-04-21_12-08-42.png (15.33 КБ) 4308 просмотров

armbian-config вообще не имеет опции "Hardware"

СпойлерПоказать

2019-04-21_12-10-05.png (19.18 КБ) 4308 просмотров

настройки alsamixer:

СпойлерПоказать

alsamixer

2019-04-21_12-11-09.png (27.53 КБ) 4308 просмотров

здесь видно что есть только воспроизведение звука:

СпойлерПоказать

2019-04-21_12-13-29.png (20.76 КБ) 4308 просмотров

asound.conf

СпойлерПоказать

asound.conf

2019-04-21_12-14-52.png (11.47 КБ) 4308 просмотров

Кто что думает, можно как то заставить работать микрофон не переустанавливая систему Armbian?