MajorDoMo

upd.В версии 5prealpha разработчики убрали вывод в stdout. Буду переписывать исходники pocketsphinx_continuous, добавлю вывод в stdout, и постараюсь добавить отправку распознанного текста на command.php
Приветствую форумчане. Реализовал оффлайн распознавание речи на стороне сервера, чем и хочу с вами поделиться.
Начнем с того, что вам нужно иметь неплохой микрофон, который бы обеспечивал приемлимое качество сигнала. Я собираюсь приобрести шорох-7, пока использую микрофон из веб камеры.
Возьму за установку, что те кто хотят это повторить немного разбираются в линуксе, если что то будет не понятно, распишу подробнее.
В моем случае, имеем модуль управления с ubuntu server.
Если у вас установлен pulseaudio, то мое решение не заработает, его нужно удалить)
Поставим alsa Для того,что бы PocketSphinx использовал alsa по умолчанию, его придется пересобирать,
предварительно переместив заголовочный файл pulsesudio, если такой присутствует, командой: Теперь можно начинать собирать сам движок.
Устанавливаем необходимые пакеты Собираем sphinxbase: Если все идет нормально, то в процессе команды ./configure --enable-fixed вы должны увидеть что то вроде: Это значит что сборщик не обнаружил pulseaudio и jack, и будет использовать alsa.
Теперь соберем PocketSphinx. У меня с этим трудностей не возникло, все собралось без ошибок.
Теперь нужно создать словарь,и файл грамматики для pocketsphinx.
Мне в этом очень помогла вот эта статья:
http://habrahabr.ru/post/267539/
Там все расписано, думаю сложностей с этим не возникнет. Если что, опять же, распишу)
Далее начинается интересное) А именно unix-way костыли)
Если у кого то есть идеи как по другому это реализовать, предлагайте.
Создадим папку speech в корне.
В нее нужно положить аккустическую модель русского языка, которая скачивается по ссылке в посте,файл словаря, и грамматики.
Приложу свои файлы для образца.
Файл грамматики speech.jsgf Далее файл словаря: В этоу же директорию можно положить скрипт запуска. Пока он неполноценный, позже перепишу с помошью start-stop-daemon.
run.sh Подробнее опишу агрументы запуска.
-hmm путь к файлам аккустической модели
-dict путь с словарю
-jsgf путь к грамматике
-adcdev устройство захвата. в моем случае, захват идет с микрофона веб камеры, как я уже писал.
-samprate частота дискретизации. веб камера не поддерживает больше чем 8000.
-inmic Upd. Именно -inmic запускает распознавание с микрофона. -adcdev всего лишь принудительно задает устройство захвата.
-logfn вывод логов.

Далее, вывод pocketsphinx_continuous имеет вид: И надо его как то отправить в majordomo. У меня он находится на другом физическом сервере.
ВНИМАНИЕ! УЖАСНЫЙ БЫДЛОКОД.
К сожалению, ничего умнее ко мне в голову в 12 ночи не пришло.
Я пытался использовать curl модуль php, на моей системе он почему то отказывается работать.
Пробовал писать на perl, он для такой задачи больше подходит чем php, но тоже потерпел неудачу.
Так что(содержимое файла /var/control/parser.php): Для запуска распознавания после загрузки, поместил /speech/run.sh & в rc.local.
В принципе все. Работает второй день. Вроде неплохо. Из того что можно улучшить, это отправка распознанного в MD, запускающий скрипт, замена микрофона, и составление своей аккустической модели. Своя аккустическая модель будет быстрее и точнее распознавать именно ваш голос, особенности произношения. Но я пока не разобрался как ее составить)
Спасибо за внимание) Критика приветствуется. Я хотя бы положил начало)

1. На чем развернут PocketSphinx? Аппаратно имею ввиду?
2. Много ресурсов кушает фоновый процесс? ЦПУ и ОЗУ?
3. Как PocketSphinx узнает, какой микрофон надо использовать - с вебки или с Mic IN? Можно ли реализовать прослушивание нескольких микрофонов, подключенных к одному компу?
4. Громко говорить приходится, чтобы распознавание работало? С какого расстояния до микрофона в Вашем можно давать команды?

1. Модуль управления сделан из материнки на s754, одноядерного процессора AMD Sempron 3000+, и 512mb ddr1. Он же управляет нагрузками в комнате.
2. Как ни странно, потребление стремится к нулю) Судя по top, около 20мб, и до 10% в процессе самого распознавания. В простое и того меньше.
3. Задается аргументом -adcdev. Именно тут прописывается устройство, откуда производить захват. Upd. Именно -inmic запускает распознавание с микрофона. -adcdev всего лишь принудительно задает устройство захвата. Можно и несколько микрофонов, но для каждого вам потребуется отдельная аудиокарта, и копия процесса PocketSphinx))
Если использовать usb микрофоны, то просто на каждый по копии PocketSphinx.
4. Тут, все целиком и полностью зависит от микрофона. От его рабочей дальности, чувствительности, направленности, если активный, то наличия АРУ(автоматическая регулировка усиления).
Грубо говоря, чем лучше микрофон, тем лучше и дальше распознавание. В моем случае с дешевой логитековской веб камерой, на расстоянии метра-двух проблем нет. Но каких результатов можно ожидать от вебки?)
Я пробовал много разных конфигураций. Можно ведь использовать и стандартную аудиокарту в материнке, подключая микрофон к ней. Вот я и собираюсь шорох купить, его рабочая дальность 7 метров, хватит на любую комнату) Как куплю, отпишусь о результатах.
Гугл распознает намного более слабые сигналы, но извините у них в распознавании речи работают нейронные сети. Дома такое не поднимешь) За то, PocketSphinx работает быстрее.
Я реализовал распознавание речи и с помощью гугла, но во первых у них ограничение на количество запросов в 50шт, во вторых-проблемы с активацией. А именно как запускать скрипт распознавания, ведь не круто на кнопку нажимать что бы что нибудь сказать) Так что PocketSphinx мне нравится намного больше)

хе, не успел...)
Тоже поднял сфинкса, но под винду и не 8 версию, а последнюю.
вечером до сервака доберусь и попробую выложить сюда как я это всё сделал.
У меня всё это дело работает не айс...
Косяки:
1. микрофон нюхается постоянно. если рядом телик, то команды сыпятся пачками и "от балды"
2. пробовал микрофон на ноуте - команды чёткие только на расстоянии до 40 см, дальше идут ошибки или надо повышать голос.
пробовал блютуз гарнитуру от нокии bh-104 - но там вообще ужас...не то что команды, я не всегда понимал что сам говорю (проверял отправкой голоса обратно в гарнитуру).
Хочу тоже купить шорох-7/8 и проверить на нём. Но как избавиться от помех от телика/радио....прям не знаю.

Протестировал разные режимы работы:
1. По словарю(jsgf) - самое оптимальное. Этот режим как описал выше автор. То есть нужен словарик с грамматикой и прога ищет только в этом узком диапазоне.
2. По языковой модели(lm). Народ сделал уже не плохую языковую модель, но для наших нужно её использовать губительно, так как будут сыпаться ошибки.
3. По ключевому слову. Работает (как я понял) и по lm и по jsgf, но отличие в том, что можно задать список ключевых слов, которые будут проверяться. Програ распознаёт голос и только когда результат совпадает с ключевым словом, то слово передаётся иначе ничего не пишет.

Режимы можно переключать. Можно переключать языки (разные модели по каждый язык).

У меня windows 7 x64, 6 Гб ддр3, i7 920. Я даже не заметил что она ресурсы хавает. Заметно только когда режим lm и передаётся большой словарик. Просто отжирается оперативка на весь словарик.

Несколько микрофонов не пробовал (даже не вникал в этот вопрос), но если не подключен вообще микрофон, то выдаёт ошибку. Скорей всего берётся микрофон по умолчанию.

Избавится от помех можно путем второго микрофона направленного на телевизор, и операционного усилителя. Логика простая, ОП вычитает из сигнала основного микрофона, сигнал с вспомогательного. Будет время поэксперементирую, пока не сталкивался с такой проблемой) У sphinx вроде бы есть стандартный механизм шумоподавления, описан здесь http://habrahabr.ru/post/227099/. Но по моему с помехами вроде телевизора оно не справится.
upd. Даже нашел ссылку, рисунок 2 http://www.cqham.ru/mike_master.htm

coolermister писал(а):Избавится от помех можно путем второго микрофона направленного на телевизор, и операционного усилителя. Логика простая, ОП вычитает из сигнала основного микрофона, сигнал с вспомогательного. Будет время поэксперементирую, пока не сталкивался с такой проблемой) У sphinx вроде бы есть стандартный механизм шумоподавления, описан здесь http://habrahabr.ru/post/227099/. Но по моему с помехами вроде телевизора оно не справится.

Про режим шумоподавления тоже читал, но там надо свою модель тренировать, а это тот еще геморрой, для которого ещё и мануалы надо почитать....я то сфинкстрейнер вроде подключил, но как им нормально воспользоваться не понял и забил.
А про

ОП вычитает из сигнала основного микрофона, сигнал с вспомогательного

поподробнее.
Мне просто включить 2 микрофона и направить их друг на друга (один у телика, другой у дивана) и кто будет вычитать лишний сигнал?

Грубо говоря, один микрофон должен быть направлен на вас, а второй можно прямо у динамиков телевизора поставить)
То есть вас слушать будет только один микрофон. ОП-операционный усилитель. На неинвертирующий вход подается сигнал с основного микрофона.
На инвертирующий-со вспомогательного. И ОП будет вычитать из сигнала на неинвертирующем входе, сигнал с инвертирующего. А его выход подключаем к аудиокарте)
Принципы работы ОП очень хорошо описаны вот тут http://cxem.net/beginner/beginner96.php, если будет время и интерес, почитайте)
Схему я привел в прошлом сообщении. Правда, там придется поработать паяльником)
Насчет программного решения данного вопроса - идей нет(

sleepy, постарайтесь выложить вашу реализацию, думаю всем будет полезно. Лично мне интересно как вы отправляли команды в majordomo)
upd. Вообще похоже что с проблемой шумоподавления я тоже столкнусь, у меня прямо в комнате акустика стоит)

Почитаю про ОП и буду копать в этом направлении
Ещё надо докопаться до адаптивной акустической модели.
И сделать кросс-платформенную "обёртку".

По поводу обёртки. У меня она взята вот от сюда:
https://github.com/Mattze96/pocketsphin ... er/main.py

Написано на pythone 2.7.
Я исправил всё что выдавало ошибки, добавил код с включением разных режимов, ну и добавил отправку по http в МД запросов с расшифровкой.

Можно от туда вырезать графический интерфейс и преобразовать это всё к работе на разных ОС.

Можно от туда вырезать графический интерфейс и преобразовать это всё к работе на разных ОС.

Было бы круто, но надежда на вас) Такой объем работы я не потяну, плюс я не знаю питона)