Голосовое управление на основе SDK ОК Гугл (OK Google)

Модератор: immortal

skysilver
Сообщения: 3006
Зарегистрирован: Чт авг 21, 2014 8:28 am
Откуда: Киров, Россия
Благодарил (а): 400 раз
Поблагодарили: 1753 раза
Контактная информация:

Re: Голосовое управление на основе SDK ОК Гугл (OK Google)

Сообщение skysilver » Вс янв 14, 2018 8:19 pm

fandaymon, а чего так долго ждал? Надо было сразу отписать на форуме. )) А то я почти точно такой же путь сам проходил на неделе. Кучу времени бы сэкономил.

Скинь, пжл, все скрипты нужные в виде файлов.
MajorDoMo (GitHub) на Cubietruck. ОС Debian 7 (wheezy) (kernel 3.4.105) с переносом на HDD.
Мой CONNECT | Блоги | Telegram
Voyager
Сообщения: 36
Зарегистрирован: Чт май 26, 2016 4:57 pm
Благодарил (а): 15 раз
Поблагодарили: 9 раз

Re: Голосовое управление на основе SDK ОК Гугл (OK Google)

Сообщение Voyager » Вс янв 14, 2018 8:24 pm

fandaymon писал(а):но если надо - то старая версия у меня есть
Можете выложить? Спасибо!
fandaymon
Сообщения: 1553
Зарегистрирован: Сб янв 13, 2018 5:00 pm
Благодарил (а): 39 раз
Поблагодарили: 574 раза

Re: Голосовое управление на основе SDK ОК Гугл (OK Google)

Сообщение fandaymon » Вс янв 14, 2018 8:42 pm

https://drive.google.com/file/d/1zIp_WC ... sp=sharing

Как инсталлировать написано в Readme. snowboy.py тут уже исправленный
За это сообщение автора fandaymon поблагодарили (всего 4):
skysilver (Вс янв 14, 2018 8:51 pm) • Voyager (Вс янв 14, 2018 9:08 pm) • lanket (Пн янв 15, 2018 9:34 am) • Misko (Сб янв 27, 2018 9:09 pm)
Рейтинг: 4.65%
skysilver
Сообщения: 3006
Зарегистрирован: Чт авг 21, 2014 8:28 am
Откуда: Киров, Россия
Благодарил (а): 400 раз
Поблагодарили: 1753 раза
Контактная информация:

Re: Голосовое управление на основе SDK ОК Гугл (OK Google)

Сообщение skysilver » Пн янв 15, 2018 1:19 am

fandaymon писал(а):Как инсталлировать написано в Readme. snowboy.py тут уже исправленный
А как выглядит файл .asoundrc? Микширование работает (одновременное проигрывание звука от нескольких приложений)?

Камеру от Playstation Eye удалось завести?
MajorDoMo (GitHub) на Cubietruck. ОС Debian 7 (wheezy) (kernel 3.4.105) с переносом на HDD.
Мой CONNECT | Блоги | Telegram
fandaymon
Сообщения: 1553
Зарегистрирован: Сб янв 13, 2018 5:00 pm
Благодарил (а): 39 раз
Поблагодарили: 574 раза

Re: Голосовое управление на основе SDK ОК Гугл (OK Google)

Сообщение fandaymon » Пн янв 15, 2018 1:59 am

skysilver писал(а):
fandaymon писал(а):Как инсталлировать написано в Readme. snowboy.py тут уже исправленный
А как выглядит файл .asoundrc? Микширование работает (одновременное проигрывание звука от нескольких приложений)?

Камеру от Playstation Eye удалось завести?
Там в директории audio-drivers находятся скрипты для подключения нужной комбинации ввода-вывода. Я запускал тот, который в директории USB-MIC-JACK. Он правит и .asoundrc и asound.conf
Про микширование ничего сказать не могу - не пробовал. Динамик малинки просто проигрывает сообщения, до музыки руки пока не дошли, да и качество динамика так себе
Камеру использую для узнавания одного из пользователей, в качестве вебки она не очень хороша - и разрешение маленькое и снежит сильно при плохом освещении.
fandaymon
Сообщения: 1553
Зарегистрирован: Сб янв 13, 2018 5:00 pm
Благодарил (а): 39 раз
Поблагодарили: 574 раза

Re: Голосовое управление на основе SDK ОК Гугл (OK Google)

Сообщение fandaymon » Пн янв 15, 2018 6:38 pm

Вот кстати по ссылке asoundrc специально под ps3 и jack

https://gist.github.com/AfzalivE/54214b ... 934cc137db
Misko
Сообщения: 36
Зарегистрирован: Вс янв 14, 2018 5:57 pm
Благодарил (а): 17 раз
Поблагодарили: 0

Re: Голосовое управление на основе SDK ОК Гугл (OK Google)

Сообщение Misko » Вс янв 28, 2018 8:09 pm

fandaymon писал(а):Вот кстати по ссылке asoundrc специально под ps3 и jack

https://gist.github.com/AfzalivE/54214b ... 934cc137db
Добрый день!
Snowboy.py в загрузку надо ? как проверить что работает ?

Если Вас не затруднит можете написать инструкцию, в той что в Readme при установке появляются ошибки видимо где то есть ньюансы в которых Вы вкурсе. Думаю что не один я заморочился вопросом связки малинка-микрофон-распознование, без использования комуникаторов.
fandaymon
Сообщения: 1553
Зарегистрирован: Сб янв 13, 2018 5:00 pm
Благодарил (а): 39 раз
Поблагодарили: 574 раза

Re: Голосовое управление на основе SDK ОК Гугл (OK Google)

Сообщение fandaymon » Вс янв 28, 2018 10:16 pm

В принципе в README.md всё расписано.
Распаковать файл, так что бы содержимое файла находилось в /home/pi/GassistPi
Посмотреть пункт 3, выбрать свою комбинацию устройств ввода-вывода звука (у меня это был USB-микрофон-JACK), сделать нужный скипт исполняем и запустить его. Скрипт скопирует нужные конфиги asound.conf и .asoundrec (кстати тот конфиг что был в моей последней ссылке работать не будет - чувствительность микрофона повышается, но микрофон открывается монопольно сноубоем, поэтому гугл не может микрофон открыть, надо будет копать в сторону объединие конфигов - из одного взять что тип устройства dsnoop, а из другого всю цепочку с Gain)
Далее получить JSON с данными гугла

И запустить скрипты, предварительно сделав их исполняемыми

sudo /home/pi/GassistPi/scripts/snowboy-deps-installer.sh
sudo /home/pi/GassistPi/scripts/gassist-installer-pi3.sh

Поскольку в них с помощью pip инсталлируются нужные питоновские модули, а в образе для малинки места в /tmp мало, то мне помогло сделать директорию /home/pi/tmp и выполнить команду export TMPDIR=/home/pi/tmp перед выполнением скриптов

Во время выполнения скрипта в терминале выскочит ссылка для авторизации, надо будет её скопировать в браузер и авторизировать в гугле. Код авторизации скопировать в терминал.

Потом попробовать запустить demo google assistant (можно и не пробовать, поскольку используется не он)

Далее запустить скрипт инсталляции сервисов
Сделать сервис enаbled и запустить его


sudo systemctl enable snowboy.service
sudo systemctl start snowboy.service

После этого сервис запускается автоматом при загрузке малинки

Далее нужно проинсталлировать SpeechRecognition

http://pythono.ru/speech-recognition-python/ - тут написано как это сделать. Не забыть включить нашу среду перед инсталляцией

source env/bin/activate

Ну и в принципе всё. Ещё надо зайти и зарегестрироваться на сайте сноубой, чтобы получить pmdl файлик для своего ключего слова, скопировать его в директорию /home/pi/GassistPi/src/resources и поменять в snowboy.py

models = ['/home/pi/GassistPi/src/resources/sarah.pmdl', '/home/pi/GassistPi/src/resources/sarah_hella.pmdl'] на свои названия
За это сообщение автора fandaymon поблагодарил:
Misko (Вс янв 28, 2018 11:00 pm)
Рейтинг: 1.16%
Misko
Сообщения: 36
Зарегистрирован: Вс янв 14, 2018 5:57 pm
Благодарил (а): 17 раз
Поблагодарили: 0

Re: Голосовое управление на основе SDK ОК Гугл (OK Google)

Сообщение Misko » Ср янв 31, 2018 5:06 pm

Вы сами ставили Majordomo на стандартный образ RPI3 или скачивали один из готовых с предустановленным MD и т.д с форума ?
fandaymon писал(а):В принципе в README.md всё расписано.
Распаковать файл, так что бы содержимое файла находилось в /home/pi/GassistPi
Посмотреть пункт 3, выбрать свою комбинацию устройств ввода-вывода звука (у меня это был USB-микрофон-JACK), сделать нужный скипт исполняем и запустить его. Скрипт скопирует нужные конфиги asound.conf и .asoundrec (кстати тот конфиг что был в моей последней ссылке работать не будет - чувствительность микрофона повышается, но микрофон открывается монопольно сноубоем, поэтому гугл не может микрофон открыть, надо будет копать в сторону объединие конфигов - из одного взять что тип устройства dsnoop, а из другого всю цепочку с Gain)
Далее получить JSON с данными гугла

И запустить скрипты, предварительно сделав их исполняемыми

sudo /home/pi/GassistPi/scripts/snowboy-deps-installer.sh
sudo /home/pi/GassistPi/scripts/gassist-installer-pi3.sh

Поскольку в них с помощью pip инсталлируются нужные питоновские модули, а в образе для малинки места в /tmp мало, то мне помогло сделать директорию /home/pi/tmp и выполнить команду export TMPDIR=/home/pi/tmp перед выполнением скриптов

Во время выполнения скрипта в терминале выскочит ссылка для авторизации, надо будет её скопировать в браузер и авторизировать в гугле. Код авторизации скопировать в терминал.

Потом попробовать запустить demo google assistant (можно и не пробовать, поскольку используется не он)

Далее запустить скрипт инсталляции сервисов
Сделать сервис enаbled и запустить его


sudo systemctl enable snowboy.service
sudo systemctl start snowboy.service

После этого сервис запускается автоматом при загрузке малинки

Далее нужно проинсталлировать SpeechRecognition

http://pythono.ru/speech-recognition-python/ - тут написано как это сделать. Не забыть включить нашу среду перед инсталляцией

source env/bin/activate

Ну и в принципе всё. Ещё надо зайти и зарегестрироваться на сайте сноубой, чтобы получить pmdl файлик для своего ключего слова, скопировать его в директорию /home/pi/GassistPi/src/resources и поменять в snowboy.py

models = ['/home/pi/GassistPi/src/resources/sarah.pmdl', '/home/pi/GassistPi/src/resources/sarah_hella.pmdl'] на свои названия
fandaymon
Сообщения: 1553
Зарегистрирован: Сб янв 13, 2018 5:00 pm
Благодарил (а): 39 раз
Поблагодарили: 574 раза

Re: Голосовое управление на основе SDK ОК Гугл (OK Google)

Сообщение fandaymon » Ср янв 31, 2018 5:29 pm

У меня образ, который Сергей выкладывал. Т.е. там уже всё было настроено
Ответить