Голосовое управление на основе SDK ОК Гугл (OK Google)

Модератор: immortal

vrnunya
Сообщения: 67
Зарегистрирован: Вт дек 05, 2017 9:00 am
Откуда: Воронеж
Благодарил (а): 16 раз
Поблагодарили: 7 раз

Re: Голосовое управление на основе SDK ОК Гугл (OK Google)

Сообщение vrnunya » Вт янв 09, 2018 10:53 pm

directman66 писал(а):
vrnunya писал(а):Всем привет. Не стал создавать новую тему (пока). Сделал себе подарок на новый год. Стал счастливы обладателем Amazon Echo Alexa. Колонка просто жара. Конечно же т.к. продукт для США, на неё готового ничего нет. Скажите пожалуйста есть ли идеи по созданию модуля для данного девайса? Есть счастливчики кто уже юзает данный девайс?
Поищите на канале нашего форумчанина.
https://www.youtube.com/watch?v=89zsdS0Tetc
https://www.youtube.com/watch?v=aAWCKUIylh4

вообще полагаю нужны отдельные ветки по алексе и помошнику корпорации добра )
Спасибо. Видео смотрел, но... Думаю отдельный модуль будет очень полезен. Просто получается данный способ не очень удобный. Не получится привязать сценарии( Будет просто голосовое управление. Получается весь смысл МЖД теряется. Алекса будет как отдельный сервис(
На счет отдельной ветки), согласен.
OrangePIPC+Majordomo+Vera Lite Ui5+Broadlink+MiLight+ESP8266+Amazon Alexa+Xiaomi Smart home
vrnunya
Сообщения: 67
Зарегистрирован: Вт дек 05, 2017 9:00 am
Откуда: Воронеж
Благодарил (а): 16 раз
Поблагодарили: 7 раз

Re: Голосовое управление на основе SDK ОК Гугл (OK Google)

Сообщение vrnunya » Вт янв 09, 2018 11:42 pm

vrnunya писал(а):
Gelezako писал(а):О, отличные новости, ещё один обладатель Алексы, глядишь скоро нормальный модуль будет. У меня есть реализация на питоне (https://www.youtube.com/watch?v=dwtCju3 ... E&index=17), которая позволяет интегрироваться с МЖД, но что бы был модуль, нужно его портировать на пхп. Это анриал задача для меня пока. Поэтому я использую питоновский скрипт. Можно включать\выключать любые устройства добавленные в МЖД. Видео постом выше, это примеры управления светом без участия МЖД. Исключительно за счёт существующей интеграции плагинов для алексы, которые были написаны компаниями производителями. Но таких не очень много.
Да. Спасибо. Гуглил и смотрел данное видео. Правда у меня МЖД на апельсине, но если не получится один эксперимент, то займусь этим способом)
В общем эксперимент прошел на ура.
Теперь голосом могу включать/выключать свет, диммировать, выключать розетки.
Могу сказать, что ни какой интерпритации с питоном я не ставил, т.к. Была задумка завязать это с homebridge, т.к. в доме есть эпл устройства.
Все прошло на ура. Если честно, не ожидал, даже пиво открыл за такую победу.)))
Единственный минус (для критиков и для тех, кто учил немецкий) - общаться с Алексой надо на английском)
OrangePIPC+Majordomo+Vera Lite Ui5+Broadlink+MiLight+ESP8266+Amazon Alexa+Xiaomi Smart home
skysilver
Сообщения: 3002
Зарегистрирован: Чт авг 21, 2014 8:28 am
Откуда: Киров, Россия
Благодарил (а): 400 раз
Поблагодарили: 1728 раз
Контактная информация:

Re: Голосовое управление на основе SDK ОК Гугл (OK Google)

Сообщение skysilver » Ср янв 10, 2018 12:22 pm

Как альтернативу Google Assistant SDK для распознавания ключевого слова можно посмотреть на Snowboy Hotword Detection https://snowboy.kitt.ai
Там можно замутить свое слово/фразу активации. Из самых популярных английских - Джарвис )) Русские фразы тоже попадаются. Общими усилиями можно вывести "Алиса" в топ, и тогда эта фраза станет универсальной, а не только для вашего конкретного голоса.
СпойлерПоказать
photo_2018-01-10_12-16-47.jpg
photo_2018-01-10_12-16-47.jpg (50.55 КБ) 4924 просмотра
photo_2018-01-10_12-16-48.jpg
photo_2018-01-10_12-16-48.jpg (51.47 КБ) 4924 просмотра
Вроде, у этого же проекта есть и решения по распознаванию и синтезу речи, но что там с русским не уточнял.
За это сообщение автора skysilver поблагодарил:
Misko (Сб янв 27, 2018 9:05 pm)
Рейтинг: 1.18%
MajorDoMo (GitHub) на Cubietruck. ОС Debian 7 (wheezy) (kernel 3.4.105) с переносом на HDD.
Мой CONNECT | Блоги | Telegram
skysilver
Сообщения: 3002
Зарегистрирован: Чт авг 21, 2014 8:28 am
Откуда: Киров, Россия
Благодарил (а): 400 раз
Поблагодарили: 1728 раз
Контактная информация:

Re: Голосовое управление на основе SDK ОК Гугл (OK Google)

Сообщение skysilver » Ср янв 10, 2018 12:29 pm

Интересный обзор и сравнение микрофонных массивов:
- Seeed ReSpeaker Mic Array
- Conexant 4-Mic Development Kit
- Microsemi AcuEdge
- MATRIX Creator
- MiniDSP UMA-8
- PlayStation Eye
здесь https://medium.com/snips-ai/benchmarkin ... 0de8876fda
MajorDoMo (GitHub) на Cubietruck. ОС Debian 7 (wheezy) (kernel 3.4.105) с переносом на HDD.
Мой CONNECT | Блоги | Telegram
Аватара пользователя
Gelezako
Сообщения: 961
Зарегистрирован: Чт июн 02, 2016 9:33 pm
Благодарил (а): 205 раз
Поблагодарили: 106 раз
Контактная информация:

Re: Голосовое управление на основе SDK ОК Гугл (OK Google)

Сообщение Gelezako » Ср янв 10, 2018 3:21 pm

ну если под апельсинку можно поставить питон, то и на ней всё будет работать
фанат Мажордомо
тематический блог http://blog.gelezako.com
плейлист про Мажордомо на ютубе https://www.youtube.com/playlist?list=P ... EdBGtX084E
smart_g
Сообщения: 292
Зарегистрирован: Вт окт 17, 2017 11:29 am
Откуда: Украина, Киев
Благодарил (а): 15 раз
Поблагодарили: 33 раза

Re: Голосовое управление на основе SDK ОК Гугл (OK Google)

Сообщение smart_g » Чт янв 11, 2018 4:33 pm

Можно
https://forum.armbian.com/topic/3084-or ... o-library/

*** Сообщение запрещено. Сообщение похоже на спам. ***
Ubuntu Server 16.04 LTS, OpenWRT 1-wire, SonOFF, MYSensors, MiHome, Yeelight, MiFlower
fandaymon
Сообщения: 1358
Зарегистрирован: Сб янв 13, 2018 5:00 pm
Благодарил (а): 38 раз
Поблагодарили: 509 раз

Re: Голосовое управление на основе SDK ОК Гугл (OK Google)

Сообщение fandaymon » Сб янв 13, 2018 11:05 pm

Вот уже пару месяцев стоит голосовое управление по схеме - малинка - PlayStation Eye (микрофонный массив) - ключевое слово на snowboy - распознавание на Гугле - отправка на мажордомо в качестве команды - далее шаблоны - apiai.
Playstation Eye была куплена на али за 9 евро. Как микрофон для голоса работает просто отлично. Гугл почти 100 процентно распознаёт с 2-3 метров
Почему snowboy - потому что это распознавание offline. На сайте надо ввести ключевую фразу, 3 раза её проговорить, подождать пока натренируется сеть, скачать файлик и в принципе всё - дальше всё работает автономно. У жены и меня свои файлы, поэтому отрабатывает довольно не плохо - если говорить примерно с той же интонации, что и при тесте - срабатывает в 80-90 процентах случаев. Заодно можно подставлять юзера, когда результат отправляется в мажордомо.
За основу был взят проект Gassist PI, в котором google assistent заменен на Google Cloud Speech API, для того чтобы пользоваться русским языком
За это сообщение автора fandaymon поблагодарили (всего 4):
lanket (Вс янв 14, 2018 12:12 pm) • VooDooN (Вс янв 14, 2018 4:53 pm) • Misko (Вс янв 28, 2018 11:03 am) • Samir77 (Вс окт 21, 2018 11:30 pm)
Рейтинг: 4.71%
Аватара пользователя
lanket
Сообщения: 1161
Зарегистрирован: Вт окт 14, 2014 11:27 pm
Откуда: Санкт-Петербург
Благодарил (а): 256 раз
Поблагодарили: 163 раза

Re: Голосовое управление на основе SDK ОК Гугл (OK Google)

Сообщение lanket » Вс янв 14, 2018 12:13 pm

fandaymon писал(а):Вот уже пару месяцев стоит голосовое управление по схеме - малинка - PlayStation Eye (микрофонный массив) - ключевое слово на snowboy - распознавание на Гугле - отправка на мажордомо в качестве команды - далее шаблоны - apiai.
Playstation Eye была куплена на али за 9 евро. Как микрофон для голоса работает просто отлично. Гугл почти 100 процентно распознаёт с 2-3 метров
Почему snowboy - потому что это распознавание offline. На сайте надо ввести ключевую фразу, 3 раза её проговорить, подождать пока натренируется сеть, скачать файлик и в принципе всё - дальше всё работает автономно. У жены и меня свои файлы, поэтому отрабатывает довольно не плохо - если говорить примерно с той же интонации, что и при тесте - срабатывает в 80-90 процентах случаев. Заодно можно подставлять юзера, когда результат отправляется в мажордомо.
За основу был взят проект Gassist PI, в котором google assistent заменен на Google Cloud Speech API, для того чтобы пользоваться русским языком
Имиджем не поделитесь?

Отправлено с моего Redmi Note 4 через Tapatalk
Разработка голосового асистента для Мажордомо по любому ключевому слову.
:arrow: Обсужение
:arrow: gitHub 2й версии терминала
:arrow: GitHub модуля для МД
gitHub сырого модуля 2й версии
:arrow: Connect
Rasberry Pi 2, MDM, MySensors. И говорящий апельсин.
fandaymon
Сообщения: 1358
Зарегистрирован: Сб янв 13, 2018 5:00 pm
Благодарил (а): 38 раз
Поблагодарили: 509 раз

Re: Голосовое управление на основе SDK ОК Гугл (OK Google)

Сообщение fandaymon » Вс янв 14, 2018 6:35 pm

Там отдельного образа нету - всё крутится на той же Малинке, на которой работает Мажордомо.
Ставилось с гита https://github.com/shivasiddharth/GassistPi. Сейчас правда автор поменял концепцию и отказался от сноубоя, но если надо - то старая версия у меня есть
В результате получался работающий на английском ассистент, к которому можно было добавлять свои действия
Далее по подсказке с форума был поставлен пакет под питон http://pythono.ru/speech-recognition-python/
На сайте https://snowboy.kitt.ai/ были получены персональные модели под ключевую фразу Привет Сара, скрипт на питоне был переписан под взаимодействие на русском, ну в принципе и всё

Файл snowboy.py получился таким

Код: Выделить всё

import snowboydecoder
import sys
import signal
import RPi.GPIO as GPIO
import time
import os
import subprocess
import speech_recognition as sr
import urllib.request

subprocess.Popen(["aplay", "/home/pi/GassistPi/sample-audio-files/customwakeword.wav"], stdin=subprocess.PIPE, stdout=subprocess.PIPE, stderr=subprocess.PIPE)

interrupted = False

#Add your custom models here
models = ['/home/pi/GassistPi/src/resources/sarah.pmdl', '/home/pi/GassistPi/src/resources/sarah_hella.pmdl']

def signal_handler(signal, frame):
    global interrupted
    interrupted = True



def interrupt_callback():
    global interrupted
    return interrupted

def detected():

    snowboydecoder.play_audio_file(snowboydecoder.DETECT_DING)

    r = sr.Recognizer()
    with sr.Microphone() as source:
        audio = r.listen(source)
        command=r.recognize_google(audio, language="ru-RU")
        
        link='http://127.0.0.1/command.php?qry=' + urllib.parse.quote_plus(command)
        f=urllib.request.urlopen(link)

# capture SIGINT signal, e.g., Ctrl+C
signal.signal(signal.SIGINT, signal_handler)

sensitivity = [0.5]*len(models)
detector = snowboydecoder.HotwordDetector(models, sensitivity=sensitivity)
callbacks = [detected, detected]
print('Listening... Press Ctrl+C to exit')

# main loop
# make sure you have the same numbers of callbacks and models
detector.start(detected_callback=callbacks,
               interrupt_check=interrupt_callback,
               sleep_time=0.03)

detector.terminate()
 
За это сообщение автора fandaymon поблагодарили (всего 3):
lanket (Вс янв 14, 2018 7:17 pm) • Voyager (Вс янв 14, 2018 8:23 pm) • Misko (Вс янв 28, 2018 12:22 am)
Рейтинг: 3.53%
fandaymon
Сообщения: 1358
Зарегистрирован: Сб янв 13, 2018 5:00 pm
Благодарил (а): 38 раз
Поблагодарили: 509 раз

Re: Голосовое управление на основе SDK ОК Гугл (OK Google)

Сообщение fandaymon » Вс янв 14, 2018 6:43 pm

В строчке callbacks = [detected, detected] указаны функции, которые будут запускаться по первому и второму ключевому слову. Их можно сделать разными, соответственно по разному реагировать, например, подставить пользователя
За это сообщение автора fandaymon поблагодарили (всего 2):
lanket (Вс янв 14, 2018 7:18 pm) • Voyager (Вс янв 14, 2018 8:23 pm)
Рейтинг: 2.35%
Ответить