голосовой ввод через браузер

[Otto]

Попробовал тут интересный эксперимент -- сделать голосовой ввод прямо из браузера (из сцены). Правда, будет работать только из хрома.

Рассказываю по шагам.

1. Добавляем на сцену элемент типа HTML



2. Включаем галочку Дополнительный код Javascript



и добавляем в него следующий код:

Код: Выделить всё

$(document).ready(function(){

if ('webkitSpeechRecognition' in window) {
  var recognition = new webkitSpeechRecognition();
  var final_transcript = '';
  recognition.continuous = true;
  recognition.interimResults = true;
  recognition.lang = "ru";

  recognition.onresult = function( event ) {
    var final_transcript = '';
    for (var i = event.resultIndex; i < event.results.length; ++i) {
      if (event.results[i].isFinal) {
        final_transcript += event.results[i][0].transcript;
      } 
    }
    $('#speech_block').val(final_transcript);
    if (final_transcript!='') {
     $.get('/command.php?qry='+encodeURIComponent(final_transcript),
       function( data ) {
       //alert(data);
      });
    }
    //document.getElementById( 'speech' ).value = final_transcript;
  };
  recognition.start();
}

});
 

3. В HTML-коде состояния прописываем такой код:

Код: Выделить всё

<input type='text' name="speech_block" id='speech_block' value='' style="width:100px">

Всё, получаем на сцене строку ввода приблизительно в таком виде:



Всё. После загрузки страницы браузер спросит разрешения на использование микрофона. Сцена начинает слушать всё подряд и отправлять как команды в систему.
Из особенностей -- у меня почему-то после переключения окон страница переставала слушать и распознавать речь. Так же почему-то не удалось добавить страницу в список исключений, что б не нужно было каждый раз разрешать доступ к микрофону. Ещё такое чувство, что распознавание перестаёт работать через какое-то время. Ну и на последок -- в мобильном браузере не заработало.

В общем, попробуйте сами и делитесь результатами экспериментов

[sergejey]

В догонку: на самом деле эта штука перестаёт слушать через какое-то время. Можно внутрь кода добавить такую вещь:

Код: Выделить всё

  recognition.onend = function() {
    recognition.start();
  }; 

НО, проблему это НЕ решит -- каждый раз когда перезапускается движок распознавания речи, хром просит разрешения на использование микрофона и с этим ничего нельзя поделать. Если сайт работает по HTTP, а не по HTTPS, то дать разрешение такое можно только на время. Сделано это для защиты от хакеров, я так понимаю, что б они не могли получить постоянный доступ к камере/микрофону. Очень жаль, короче... Если кто придумает способ, как обойти это ограничение -- делитесь.

[jeks0n]

А сертификаты для https можно сделать только на определенное имя сервера и платно?

[sergejey]

А сертификаты для https можно сделать только на определенное имя сервера и платно?

Нет, можно даже к localhost подключить, но не было возможности разбираться, хоть инструкции в интернете видел.

[Ivan]

А нельзя Ок гугл использовать. Тогда слушать будет после фразы

[Vit]

http://c2n.me/39ZyMzz.png

Сереж первую команду воспринимает а потом постоянно вот это

т.е. зацикливание...Алиса проговорила и по кругу начинает говорить последнюю фразу, естественно ответ "неизвестная команда"

[sergejey]

http://c2n.me/39ZyMzz.png

Сереж первую команду воспринимает а потом постоянно вот это

т.е. зацикливание...Алиса проговорила и по кругу начинает говорить последнюю фразу, естественно ответ "неизвестная команда"

Да, была такая беда -- сама себя слышит, но вроде в сегодняшнем обновлении как раз правил, чтобы игнорировала такой случай.

[Vit]

стоит обновиться?))

[Vit]

В догонку: на самом деле эта штука перестаёт слушать через какое-то время. Можно внутрь кода добавить такую вещь:

Код: Выделить всё

  recognition.onend = function() {
    recognition.start();
  };

НО, проблему это НЕ решит -- каждый раз когда перезапускается движок распознавания речи, хром просит разрешения на использование микрофона и с этим ничего нельзя поделать. Если сайт работает по HTTP, а не по HTTPS, то дать разрешение такое можно только на время. Сделано это для защиты от хакеров, я так понимаю, что б они не могли получить постоянный доступ к камере/микрофону. Очень жаль, короче... Если кто придумает способ, как обойти это ограничение -- делитесь.

код

recognition.onend = function() {
recognition.start();
};

куда добавлять? в конец предыдущего кода?

[sergejey]

код

recognition.onend = function() {
recognition.start();
};

куда добавлять? в конец предыдущего кода?

внутрь, перед recognition.onresult