[Приложение] мой MjDM (Android)

Разработка дополнительных модулей, подключение различных приложений.

Модератор: immortal

kostyaer
Сообщения: 84
Зарегистрирован: Пт окт 18, 2019 10:50 am
Откуда: Санкт-Петербург
Благодарил (а): 11 раз
Поблагодарили: 7 раз

Re: [Приложение] мой MjDM (Android)

Сообщение kostyaer » Пн мар 30, 2020 11:58 am

Да и ещё забыл... Но думаю просто совпало или я что то испортил, пока ещё не вдавался в проблему.

В общем после настройки терминалом телефона (до этого особо не юзал функционал) стали появляться задержки в работе терминала MAIN Server- стал отставать ровно на 2 минуты.. Время проговаривает через 2 минуты, какое то выполненное действие так же проговаривает через 2 минуты.. повторюсь ещё не смотрел проблему!
По ощущениям мажор в целом стал хуже работать, и телега не сразу отвечает, но не в 2 минуты задержка..
Intel Atom d510 на ubuntu server 16.04, ESP8266 на ESPEasyMega
kostyaer
Сообщения: 84
Зарегистрирован: Пт окт 18, 2019 10:50 am
Откуда: Санкт-Петербург
Благодарил (а): 11 раз
Поблагодарили: 7 раз

Re: [Приложение] мой MjDM (Android)

Сообщение kostyaer » Пн мар 30, 2020 12:51 pm

kostyaer писал(а):
Пн мар 30, 2020 11:58 am
стали появляться задержки в работе терминала MAIN Server- стал отставать ровно на 2 минуты.. Время проговаривает через 2 минуты, какое то выполненное действие так же проговаривает через 2
Кстати вспомнил, такое поведение было когда установил "Уведомления в Kodi", если Коди не запущен, то и основной терминал разговаривал с задержкой. Разработчик вроде и добавил проверку доступности Коди, но это помогало когда комп полностью выключен, а не просто Коди не запущен.
Как раз пишете, что добавили проверку доступности в той версии.. попробую удалить настройки терминала на Соньке т.к. на ней не ставиться apk- ошибка открытия файла, а с маркета без проблем..
Intel Atom d510 на ubuntu server 16.04, ESP8266 на ESPEasyMega
Аватара пользователя
hc2hunter
Сообщения: 507
Зарегистрирован: Сб дек 02, 2017 10:45 am
Откуда: RUS
Благодарил (а): 228 раз
Поблагодарили: 348 раз

Re: [Приложение] мой MjDM (Android)

Сообщение hc2hunter » Пн мар 30, 2020 1:01 pm

kostyaer писал(а):
Пн мар 30, 2020 11:40 am
Можно, конечно, целиком попытаться перейти на Сфинкс. Но я не уверен, что он адекватно будет распознавать длинные фразы.
Если у вас есть возможность сильно не отвлекаясь запилить демку как на калди, то было бы здорово! Потестировал бы в разных условиях.
да, конечно. нарисую демку.
правда, в данный момент это не очень удобно, т.к. из-за шизо-политико-финансо-вируса работаю из дома удаленно, а вся платформа разработки осталась на удаленном компьютере :)
буду продвигаться по мере возможностей.
kostyaer
Сообщения: 84
Зарегистрирован: Пт окт 18, 2019 10:50 am
Откуда: Санкт-Петербург
Благодарил (а): 11 раз
Поблагодарили: 7 раз

Re: [Приложение] мой MjDM (Android)

Сообщение kostyaer » Пн мар 30, 2020 1:30 pm

hc2hunter писал(а):
Пн мар 30, 2020 1:01 pm
да, конечно. нарисую демку.
правда, в данный момент это не очень удобно, т.к. из-за шизо-политико-финансо-вируса работаю из дома удаленно, а вся платформа разработки осталась на удаленном компьютере :)
буду продвигаться по мере возможностей.
да вы не торопитесь!
Сам из дома через два rdp сижу за своим рабочим))

по поводу отставания основного терминала:
Де активировал на Соньке дроидАпи, зачистил в мажоре. Сейчас из консоли мажора произносит сразу, в телегу прилетает мгновенно.. подожду следующего часа- отстанет или нет...
За это сообщение автора kostyaer поблагодарил:
hc2hunter (Пн мар 30, 2020 4:29 pm)
Рейтинг: 1.16%
Intel Atom d510 на ubuntu server 16.04, ESP8266 на ESPEasyMega
kostyaer
Сообщения: 84
Зарегистрирован: Пт окт 18, 2019 10:50 am
Откуда: Санкт-Петербург
Благодарил (а): 11 раз
Поблагодарили: 7 раз

Re: [Приложение] мой MjDM (Android)

Сообщение kostyaer » Пн мар 30, 2020 2:22 pm

kostyaer писал(а):
Пн мар 30, 2020 1:30 pm
по поводу отставания основного терминала:
Де активировал на Соньке дроидАпи, зачистил в мажоре. Сейчас из консоли мажора произносит сразу, в телегу прилетает мгновенно.. подожду следующего часа- отстанет или нет...
Да, основной терминал заработал четко.

На данный момент протестировал:

Sony S (and_7.1) - приложение с маркета
Распознавание на "Алиса" работает более менее без ложных срабатываний.
Есть проблема с режимом терминала

Honor 9 Lite (and_9) и Xiaomi redmi 4x (and_7.1 MIUI 11) - приложение с маркета
Распознавание на "Алиса" -постоянные ложные срабатывания.

Honor 9 Lite (and_9) и Xiaomi redmi 4x (and_7.1 MIUI 11) apk добавлена настройка порога в сфинксе
Распознавание на "Алиса" -постоянные ложные срабатывания. Настройки порога не влияют.
Распознавание на "Привет Алиса" - надо играться с порогом для надежного распознавания. Несколько раз сработало ложно.
Особо терминал не тестировал. Но сразу заговорило и в обратку, и без глюков как с Sony.

Xiaomi redmi 4x (and_7.1 MIUI 11) apk добавлена переинициализация прослушки после смены настроек
Потестировать особо не успел, проработало минут пять, сначала перестало воспринимать ключевую фразу, надо было зайти в настройки и выйти обратно, то затем после установки предыдущей apk поверх этой перестало загружаться- виснет на загрузке стартовой страницы. Удаление и переустановка с маркета не помогли.
Перезагрузил телефон- заработало
Intel Atom d510 на ubuntu server 16.04, ESP8266 на ESPEasyMega
Аватара пользователя
hc2hunter
Сообщения: 507
Зарегистрирован: Сб дек 02, 2017 10:45 am
Откуда: RUS
Благодарил (а): 228 раз
Поблагодарили: 348 раз

Re: [Приложение] мой MjDM (Android)

Сообщение hc2hunter » Вт мар 31, 2020 1:15 pm

Демка по Сфинксу не получится...
И вот почему. Сфинкс не умеет просто слушать эфир. Ему можно лишь указать - "Анализируй эфир на предмет ключевой фразы". Тогда он будет сидеть и ждать совпадения.
А просто так слушать некоторое время и потом выдать результат он не умеет... :?

Так что, в качестве альтернативы он отпадает.
kostyaer
Сообщения: 84
Зарегистрирован: Пт окт 18, 2019 10:50 am
Откуда: Санкт-Петербург
Благодарил (а): 11 раз
Поблагодарили: 7 раз

Re: [Приложение] мой MjDM (Android)

Сообщение kostyaer » Ср апр 01, 2020 12:30 pm

hc2hunter писал(а):
Вт мар 31, 2020 1:15 pm
Демка по Сфинксу не получится...
И вот почему. Сфинкс не умеет просто слушать эфир. Ему можно лишь указать - "Анализируй эфир на предмет ключевой фразы". Тогда он будет сидеть и ждать совпадения.
А просто так слушать некоторое время и потом выдать результат он не умеет... :?

Так что, в качестве альтернативы он отпадает.
Хм.. Так это получается, что сфинкс всего лишь "запускалка" по ключевой фразе, и даже не фразе, а похожему звуку, потому и ложные срабатывания, т.к. он не переводит всю речь в текст, а ждет в каком то допуске совпадения звуков... что то на подобии голосового управления в Nokia 3310 )))
Жаль.. я уже начал представлять, что можно "обойтись" без ключевой фразы.. Не вызывая прослушку команды, а сразу без пауз - "Алиса включи свет". Даже если предположить, что сфинксу скармливать команды как ключевые фразы (каждая ключевая- это команда мажору) то сфинкс будет туго реагировать на длинные фразы.. На "Привет Алиса" то надо приловчиться говорить, да ещё порогом играть..
Ну ничего, и в этом виде работает хорошо.
Поставил телефон при входе в комнату, от телека метров 6, изредка срабатывает на него, но и самому либо кричать надо, либо быть рядом с телефоном, т.ч. выбор источника блютуз нужная опция.
И ещё подумать чтобы телефон после долгого простоя сразу без тормозов начал слушать, на ключевую фразу реагирует моментально, а вот гугловский движок не сразу отзывается.. проблема конкретно операционки, хотя все настройки по энергосбережению, выгрузки приложений и реж.ожидания выключены.. или попробовать запретить снижение частоты процессора (не помню уже чем смотрел- так до 200 мегагерц проц опускает)
Intel Atom d510 на ubuntu server 16.04, ESP8266 на ESPEasyMega
Аватара пользователя
hc2hunter
Сообщения: 507
Зарегистрирован: Сб дек 02, 2017 10:45 am
Откуда: RUS
Благодарил (а): 228 раз
Поблагодарили: 348 раз

Re: [Приложение] мой MjDM (Android)

Сообщение hc2hunter » Ср апр 01, 2020 7:07 pm

kostyaer писал(а):
Ср апр 01, 2020 12:30 pm
Хм.. Так это получается, что сфинкс всего лишь "запускалка" по ключевой фразе, и даже не фразе, а похожему звуку, потому и ложные срабатывания, т.к. он не переводит всю речь в текст, а ждет в каком то допуске совпадения звуков... что то на подобии голосового управления в Nokia 3310 )))
так работают любые голосовые движки.
есть база звуковых моделей. он анализирует входящий звук и пытается наложить на него эти шаблоны.
безусловно, данный механизм можно сколько угодно наращивать по скорости, логике и т.п., но принцип будет везде похожий. собственно, и человек делает то же самое (переводит знакомые частотные "сэмплы" в образы и буквы).

Настольные версии сфинкса умеют расшифровывать аудиофайлы или слушать некоторое время, потом переводить в текст. А PocketSphinx заточен именно под распознавание ключевой фразы (как и тот же SnowBoy, например).
Вот, хорошая штука оказалась Калди. Но совершенно негожая в плане качества распознавания. Еще и объем акустической модели при этом дичайший...

Над кнопкой Bluetooth постепенно работаю.
fandaymon
Сообщения: 1554
Зарегистрирован: Сб янв 13, 2018 5:00 pm
Благодарил (а): 39 раз
Поблагодарили: 574 раза

Re: [Приложение] мой MjDM (Android)

Сообщение fandaymon » Ср апр 01, 2020 7:59 pm

hc2hunter писал(а):
Ср апр 01, 2020 7:07 pm
так работают любые голосовые движки.
есть база звуковых моделей. он анализирует входящий звук и пытается наложить на него эти шаблоны.
безусловно, данный механизм можно сколько угодно наращивать по скорости, логике и т.п., но принцип будет везде похожий. собственно, и человек делает то же самое (переводит знакомые частотные "сэмплы" в образы и буквы).

Настольные версии сфинкса умеют расшифровывать аудиофайлы или слушать некоторое время, потом переводить в текст. А PocketSphinx заточен именно под распознавание ключевой фразы (как и тот же SnowBoy, например).
Вот, хорошая штука оказалась Калди. Но совершенно негожая в плане качества распознавания. Еще и объем акустической модели при этом дичайший...

Над кнопкой Bluetooth постепенно работаю.
Нет - работают они все по разному. Сфинкс просто пытается распознать фонемы при помощи акустической модели, а потом при помощи языковой модели пытается сложить из этих фонем слова. (Покет сфинкс, кстати делался именно для распознавания фраз, а не ключевого слова.)
Сноубой же это просто нейронная сетка, которая на вход получает сигнал, а на выходе получает вероятность совпадения сигнала с ключевой фразой.
Остальные голосовые движки используют обученные сетки чтобы получить фичи, из которых при помощи языковых моделей делают слова и фразы или же сразу, нейронной сеткой, получают распознанную фразу
Калди это просто конструктор, чтобы получить на нём хороший результат, надо собрать правильную архитектуру и обучить на большом количестве данных, в таком случае Калди легко переплюнет качество сфинкса. Собственно на английском и переплёвывает. Проблема в том, что нормальные корпуса русского текста только-только собираются, то что вы называете моделью русского, всего лишь сетка натренированная на сравнительно небольшом копусе, к тому же состоящим почти на половину из аудиокниг - конечно в реальных условиях будет глупо ожидать какого-то хорошего результата....
Аватара пользователя
hc2hunter
Сообщения: 507
Зарегистрирован: Сб дек 02, 2017 10:45 am
Откуда: RUS
Благодарил (а): 228 раз
Поблагодарили: 348 раз

Re: [Приложение] мой MjDM (Android)

Сообщение hc2hunter » Ср апр 01, 2020 8:23 pm

fandaymon писал(а):
Ср апр 01, 2020 7:59 pm
(Покет сфинкс, кстати делался именно для распознавания фраз, а не ключевого слова.)
но, почему-то заставить его слушать эфир и потом через время выдать результат - нельзя. во всяком случае я пока не нашел как это сделать.
и словари у него запилены именно под конечные выражения, а не на диктовку.
в лучшем случае можно ему напихать несколько односложных ключевых фраз (слов) и он будет пытаться мониторить эфир на одно из них.
возможно, это издержки реализации примеров под Андроид... возможно.

да и в нашем случае "фраза" это или "слово" - роли не играет. ключевая последовательность звуков.
Ответить