[Приложение] ChromeGateMJD

Разработка дополнительных модулей, подключение различных приложений.

Модератор: immortal

Аватара пользователя
sergejey
Site Admin
Сообщения: 4284
Зарегистрирован: Пн сен 05, 2011 6:48 pm
Откуда: Минск, Беларусь
Благодарил (а): 75 раз
Поблагодарили: 1559 раз
Контактная информация:

[Приложение] ChromeGateMJD

Сообщение sergejey » Вт май 24, 2016 4:00 pm

Меня удачно "навели" на открытую часть проекта голосового ассистента Дуся и я там позаимствовал кое-какой код для применения его в нашем проекте (за что им Большое Спасибо!).

Итак, получилось расширение для использования функции распознавания речи через браузер Google Chrome

Расширение для установки: https://chrome.google.com/webstore/deta ... bfpjgngipi

Окно настроек выглядит вот так:
Изображение

В нём указывается ключевое слово и адрес сервера. Ключевое слово используется для того, чтобы отправлять на сервер не всю распознанную речь (а распознавание включается с запуском браузера), а только предложения, содержащие ключевое слово. Адрес сервера -- это адрес сервера MajorDoMo (если это тот же компьютер, где запущен браузер, то пойдёт localhost, для других компьютеров в сети надо указывать IP-адрес сервера). Собственно всё, браузер превращается в "уши" системы, постоянно слушающие команды от пользователя :)

Кроме адреса можно указать системное имя терминала и настройки синтезатора -- в таком случае, расширение будет озвучивать события от сервера, которые обращены к данному терминалу (например, если используется sayReply для ответа) или же обращённые ко всем терминалам (если используется say).

Исходники: https://github.com/uzyovoys/aggregate/t ... chromegate

P.S. В будущем, возможно, добавится функционал синтеза речи через это же расширение (если это востребовано).
За это сообщение автора sergejey поблагодарили (всего 19):
DiArt (Вт май 24, 2016 4:55 pm) • savenko_egor (Ср май 25, 2016 12:23 am) • Amarok (Ср май 25, 2016 9:40 am) • olehs (Ср май 25, 2016 12:51 pm) • Vit (Ср май 25, 2016 2:49 pm) • ErmolenkoM (Ср май 25, 2016 8:55 pm) • Alien (Чт май 26, 2016 12:25 pm) • Otto (Вс май 29, 2016 5:34 pm) • VGorokhov (Вт май 31, 2016 10:28 pm) • Colp (Сб июн 04, 2016 7:10 pm) и ещё 9
Рейтинг: 22.09%

Сергей Джейгало, разработчик MajorDoMo
Идеи, ошибки -- за предложениями по исправлению и развитию слежу только здесь!
Профиль Connect -- информация, сотрудничество, услуги
Ivan
Сообщения: 1473
Зарегистрирован: Сб окт 12, 2013 11:03 pm
Благодарил (а): 49 раз
Поблагодарили: 327 раз

Re: ChromeGateMJD

Сообщение Ivan » Вт май 24, 2016 5:27 pm

Классная штука.
Вопросы:
1. На чьей стороне идёт распознование речи
2. Нельзя ли вывести какой то индикатор
3. Нужно засунуть в маркет
4. Есть ли возможность установить на андройд (хром)
За это сообщение автора Ivan поблагодарил:
piton_78 (Сб янв 27, 2018 9:26 pm)
Рейтинг: 1.16%
Linux, Raspberry PI, MySensors
Connect: http://connect.smartliving.ru/profile/53
Мои проекты: http://smartliving.ru/profile/4
Аватара пользователя
nick7zmail
Сообщения: 7573
Зарегистрирован: Пн окт 28, 2013 8:14 am
Откуда: Екатеринбург
Благодарил (а): 121 раз
Поблагодарили: 2010 раз

Re: ChromeGateMJD

Сообщение nick7zmail » Ср май 25, 2016 10:49 am

Хм...звучит прикольно...над опробовать.
Ivan писал(а): 1. На чьей стороне идёт распознование речи
2. Нельзя ли вывести какой то индикатор
3. Нужно засунуть в маркет
4. Есть ли возможность установить на андройд (хром)
1) Распознование речи на стороне клиента 100%. Скорее всего только при доступе в инет.
2) Индикатор - хорошая идея. Можно еще кнопку для включения/выключения перманентного распознования. А лучше и то и другое объеденить))
3) В маркет хрома надо запихивать. А там, как я думаю, система такая же как с плэй маркетом - денюжку оплатить над.
4) В андроидовском хроме, на сколько я помню, нет дополнений. А зачем? На андроиде есть автовойс, дуся и подобные проги с функцией постоянного распознования. Но это садит батарею. Чем больше приложений слушают-обрабатывают, тем больше жрется батарея...а у андроидов она и так довольно быстро садится. Лично у меня плагин автовойса подключен к GoogleNow. И команды передаются например так: "Окей гугл - Алиса включи свет в зале" - и "Алиса включи свет в зале" передаётся в чат МД.

PS: Подобные функции кстати есть в MajorDroid. Его ставите на терминалы, и в нем уже открываете нужную сцену. А там уже и распознавание, и активация словом, и отправка в MD настроены. На крайний случай в том же MIT редакторе можно накидать приложение с распознавалкой.
Последний раз редактировалось nick7zmail Ср май 25, 2016 1:44 pm, всего редактировалось 4 раза.
Raspberry Pi3+Broadlink+esp8266 (blynk)+AMS
Если вам помогло какое-либо сообщение - не забывайте пользоваться кнопкой "СПАСИБО".
:arrow: Услуги в профиле коннект
>>>>>Мой новый канал на ютутбе, подписывайтесь!<<<<<
Ivan
Сообщения: 1473
Зарегистрирован: Сб окт 12, 2013 11:03 pm
Благодарил (а): 49 раз
Поблагодарили: 327 раз

Re: ChromeGateMJD

Сообщение Ivan » Ср май 25, 2016 10:51 am

4 для терминалов
Linux, Raspberry PI, MySensors
Connect: http://connect.smartliving.ru/profile/53
Мои проекты: http://smartliving.ru/profile/4
Аватара пользователя
Amarok
Сообщения: 1425
Зарегистрирован: Пт дек 14, 2012 12:24 pm
Откуда: Россия, Нижняя Тура
Благодарил (а): 460 раз
Поблагодарили: 126 раз
Контактная информация:

Re: ChromeGateMJD

Сообщение Amarok » Ср май 25, 2016 12:51 pm

Люто плюсую пункт №4
Алиска живёт на Ubuntu Server 14.04.3 LTS
connect, группа в Telegram, Яндекс.Деньги для благодарностей за помощь: 41001355945165
Аватара пользователя
sergejey
Site Admin
Сообщения: 4284
Зарегистрирован: Пн сен 05, 2011 6:48 pm
Откуда: Минск, Беларусь
Благодарил (а): 75 раз
Поблагодарили: 1559 раз
Контактная информация:

Re: ChromeGateMJD

Сообщение sergejey » Ср май 25, 2016 2:25 pm

Ivan писал(а):Классная штука.
Вопросы:
1. На чьей стороне идёт распознование речи
2. Нельзя ли вывести какой то индикатор
3. Нужно засунуть в маркет
4. Есть ли возможность установить на андройд (хром)
1. Не могу точно сказать -- это внутренний механизм хрома. За распознавание отвечает облако и их API, но, как мне кажется, браузер кэширует какие-то данные, чтобы распознавание проходило частично на стороне клиента. Будет ли работать распознавание без интернета -- сомневаюсь.

2. Нужно ) Я подумаю как лучше это сделать.

3. Обязательно, если пропустят )

4. Боюсь, что нет. Я посмотрю, может можно в MajorDroid-е сделать режим постоянного распознавания по такому же алгоритму.
За это сообщение автора sergejey поблагодарили (всего 2):
Otto (Вс май 29, 2016 5:45 pm) • wwwtolik81kt (Вс апр 15, 2018 4:07 pm)
Рейтинг: 2.33%

Сергей Джейгало, разработчик MajorDoMo
Идеи, ошибки -- за предложениями по исправлению и развитию слежу только здесь!
Профиль Connect -- информация, сотрудничество, услуги
Аватара пользователя
nick7zmail
Сообщения: 7573
Зарегистрирован: Пн окт 28, 2013 8:14 am
Откуда: Екатеринбург
Благодарил (а): 121 раз
Поблагодарили: 2010 раз

Re: ChromeGateMJD

Сообщение nick7zmail » Ср май 25, 2016 10:08 pm

Ещё одна идейка - фоновый режим. У PushBullet такой есть. Поставить галочку, и модуль работает даже после закрытия хрома. Удобно было бы.
За это сообщение автора nick7zmail поблагодарил:
Otto (Вс май 29, 2016 5:46 pm)
Рейтинг: 1.16%
Raspberry Pi3+Broadlink+esp8266 (blynk)+AMS
Если вам помогло какое-либо сообщение - не забывайте пользоваться кнопкой "СПАСИБО".
:arrow: Услуги в профиле коннект
>>>>>Мой новый канал на ютутбе, подписывайтесь!<<<<<
Аватара пользователя
m-malva
Сообщения: 291
Зарегистрирован: Чт фев 26, 2015 1:38 am
Откуда: Санкт-Петербург
Благодарил (а): 16 раз
Поблагодарили: 66 раз
Контактная информация:

Re: ChromeGateMJD

Сообщение m-malva » Чт май 26, 2016 2:17 am

а по какому принципу устанавливается пользователь для ChromeGateMJD ?
у меня "пользователь по умолчанию для системы" один (Пользователь), а прилетает из ChromeGateMJD от другого пользователя (Светлана).
Аватара пользователя
sergejey
Site Admin
Сообщения: 4284
Зарегистрирован: Пн сен 05, 2011 6:48 pm
Откуда: Минск, Беларусь
Благодарил (а): 75 раз
Поблагодарили: 1559 раз
Контактная информация:

Re: ChromeGateMJD

Сообщение sergejey » Чт май 26, 2016 9:14 am

m-malva писал(а):а по какому принципу устанавливается пользователь для ChromeGateMJD ?
у меня "пользователь по умолчанию для системы" один (Пользователь), а прилетает из ChromeGateMJD от другого пользователя (Светлана).
В самом расширении пользователь не прописан, идёт запрос на /command.php?qry=<команда>
По идее, если хром не использует сессию пользователя, то система автоматически берёт первого попавшегося пользователя из базы данных.
За это сообщение автора sergejey поблагодарил:
piton_78 (Сб янв 27, 2018 9:26 pm)
Рейтинг: 1.16%

Сергей Джейгало, разработчик MajorDoMo
Идеи, ошибки -- за предложениями по исправлению и развитию слежу только здесь!
Профиль Connect -- информация, сотрудничество, услуги
Otto
Сообщения: 49
Зарегистрирован: Ср мар 30, 2016 9:12 pm
Откуда: Омск
Благодарил (а): 108 раз
Поблагодарили: 9 раз

Re: ChromeGateMJD

Сообщение Otto » Вс май 29, 2016 6:12 pm

С короткими именами очень туго работает, к примеру дал имя Ева, кое какие команды только понимает с 3 раза, а с длинными именами на много лучше распознаёт ключевые слова. Моё мнение - это оболденно! Спасибище Сергею за такую полезную вещь, буду ждать новых фишек и доработок!)
MajorDoMo + Linux Ubuntu 14.04.5 LTS на Безвентиляторном Мини ПК
CONNECT: http://connect.smartliving.ru/profile/852
Ответить