Распознавание речи [Python]

Использование системы в различных ситуациях, вопросы программирования сценариев.

Модератор: immortal

Ответить
kionlife
Сообщения: 5
Зарегистрирован: Вс дек 08, 2019 9:46 pm
Благодарил (а): 1 раз
Поблагодарили: 0

Распознавание речи [Python]

Сообщение kionlife » Вт дек 10, 2019 1:25 am

Всем привет. Пишу маленькую софтинку на Python для распознавания речи и передачи её на сервер. Вопрос следующий, поддерживает ли Raspberry / Orange библиотеку PyAudio? Пробовал на i686 её установить, не идет, к сожалению. Или же я криворукий :)

В идеале принцип работы таков. Грубо говоря:

Произносится фраза в одной комнате, где стоит один микрофон, система начинает слушать команду, в зависимости какой микрофон задействован, работает динамик только в этой комнате, остальные на время ставятся на звук 0. Потом команда идет на сервер и уже MDM работает с командой.

B ещё один вопрос, как сильно будет грузить систему такая микро софтина при постоянной прослушке звука на кодовую фразу? Может кто-то предложит усовершенствования, критика приветствуется.

Кому интересно, исходник оставлю позже, когда закончу.
freesh
Сообщения: 189
Зарегистрирован: Сб окт 12, 2019 2:10 pm
Благодарил (а): 6 раз
Поблагодарили: 30 раз

Re: Распознавание речи [Python]

Сообщение freesh » Вт дек 10, 2019 1:38 am

kionlife писал(а):
Вт дек 10, 2019 1:25 am
Всем привет. Пишу маленькую софтинку на Python для распознавания речи и передачи её на сервер. Вопрос следующий, поддерживает ли Raspberry / Orange библиотеку PyAudio? Пробовал на i686 её установить, не идет, к сожалению. Или же я криворукий :)

В идеале принцип работы таков. Грубо говоря:

Произносится фраза в одной комнате, где стоит один микрофон, система начинает слушать команду, в зависимости какой микрофон задействован, работает динамик только в этой комнате, остальные на время ставятся на звук 0. Потом команда идет на сервер и уже MDM работает с командой.

B ещё один вопрос, как сильно будет грузить систему такая микро софтина при постоянной прослушке звука на кодовую фразу? Может кто-то предложит усовершенствования, критика приветствуется.

Кому интересно, исходник оставлю позже, когда закончу.
https://www.raspberrypi.org/forums/view ... hp?t=25173
Ставят на малинку.
Идея интересная, я жду orange pi думаю экспериментировать с PocketSphinx но если будет софтина с заточкой под МД будет здорово.
С PocketSphinx ещё не работал но вроде говорят что 20-30 комманд не сильно грузят и апельсинки хватает, может больше. а для МД сильно много комманд и не надо я думаю
Raspberry pi3, xiaomi, sonoff rf.
fandaymon
Сообщения: 1554
Зарегистрирован: Сб янв 13, 2018 5:00 pm
Благодарил (а): 39 раз
Поблагодарили: 574 раза

Re: Распознавание речи [Python]

Сообщение fandaymon » Вт дек 10, 2019 1:59 am

kionlife писал(а):
Вт дек 10, 2019 1:25 am
Всем привет. Пишу маленькую софтинку на Python для распознавания речи и передачи её на сервер. Вопрос следующий, поддерживает ли Raspberry / Orange библиотеку PyAudio? Пробовал на i686 её установить, не идет, к сожалению. Или же я криворукий :)

В идеале принцип работы таков. Грубо говоря:

Произносится фраза в одной комнате, где стоит один микрофон, система начинает слушать команду, в зависимости какой микрофон задействован, работает динамик только в этой комнате, остальные на время ставятся на звук 0. Потом команда идет на сервер и уже MDM работает с командой.

B ещё один вопрос, как сильно будет грузить систему такая микро софтина при постоянной прослушке звука на кодовую фразу? Может кто-то предложит усовершенствования, критика приветствуется.

Кому интересно, исходник оставлю позже, когда закончу.
Зачем изобретать велосипед, когда уже есть целый mdmTerminal viewtopic.php?f=5&t=5460 ?

https://github.com/Aculeasis/mdmTerminal2
Последний раз редактировалось fandaymon Вт дек 10, 2019 2:06 am, всего редактировалось 1 раз.
freesh
Сообщения: 189
Зарегистрирован: Сб окт 12, 2019 2:10 pm
Благодарил (а): 6 раз
Поблагодарили: 30 раз

Re: Распознавание речи [Python]

Сообщение freesh » Вт дек 10, 2019 2:04 am

Лично я надеюсь что разговор идет про оффлайн распознавание? :)
Raspberry pi3, xiaomi, sonoff rf.
fandaymon
Сообщения: 1554
Зарегистрирован: Сб янв 13, 2018 5:00 pm
Благодарил (а): 39 раз
Поблагодарили: 574 раза

Re: Распознавание речи [Python]

Сообщение fandaymon » Вт дек 10, 2019 2:14 am

freesh писал(а):
Вт дек 10, 2019 2:04 am
Лично я надеюсь что разговор идет про оффлайн распознавание? :)
В mdmTerminale в качестве распознавателя можно и сфинкс включить, только работает это не очень хорошо - медленно и процент ошибок высок. 20-30 команд это очень-очень мало. Банальная надиктовка списка покупок уже даст словарь в пару сотен слов.
freesh
Сообщения: 189
Зарегистрирован: Сб окт 12, 2019 2:10 pm
Благодарил (а): 6 раз
Поблагодарили: 30 раз

Re: Распознавание речи [Python]

Сообщение freesh » Вт дек 10, 2019 2:19 am

fandaymon писал(а):
Вт дек 10, 2019 2:14 am
freesh писал(а):
Вт дек 10, 2019 2:04 am
Лично я надеюсь что разговор идет про оффлайн распознавание? :)
В mdmTerminale в качестве распознавателя можно и сфинкс включить, только работает это не очень хорошо - медленно и процент ошибок высок. 20-30 команд это очень-очень мало. Банальная надиктовка списка покупок уже даст словарь в пару сотен слов.
Ну вот я жду опельсинку, через пару неделек придёт и буду ковырять sphinx (но это оффтопик). Конечно количество комманд у каждого индивидуально, я например только сегодня решил затестить покупки (но не взлетело^^)) мне нужно только включение/выключение девайсов, ну может ещё чего.
Raspberry pi3, xiaomi, sonoff rf.
kionlife
Сообщения: 5
Зарегистрирован: Вс дек 08, 2019 9:46 pm
Благодарил (а): 1 раз
Поблагодарили: 0

Re: Распознавание речи [Python]

Сообщение kionlife » Вт дек 10, 2019 12:07 pm

К сожалению не оффлайн. Через Google STT. В Sphinx нет нужного мне языка.
Можно конечно вместо всего этого Google assistant подвязать, но такое себе..
Была мысль написать полностью отдельный ассистент и отсылать просто нужные команды дому, чтобы не загружать систему шаблонами и сценариями
fandaymon
Сообщения: 1554
Зарегистрирован: Сб янв 13, 2018 5:00 pm
Благодарил (а): 39 раз
Поблагодарили: 574 раза

Re: Распознавание речи [Python]

Сообщение fandaymon » Вт дек 10, 2019 1:26 pm

kionlife писал(а):
Вт дек 10, 2019 12:07 pm
К сожалению не оффлайн. Через Google STT. В Sphinx нет нужного мне языка.
Можно конечно вместо всего этого Google assistant подвязать, но такое себе..
Была мысль написать полностью отдельный ассистент и отсылать просто нужные команды дому, чтобы не загружать систему шаблонами и сценариями
Так написано уже всё. Чем написанное не устраивает? Там и SST и TTS и включение прослушки по ключевому слову, которое можно выбрать самому, и интеграция с МДМ, и работа с гугл ассистентом по каким-то ключевым словам.
kionlife
Сообщения: 5
Зарегистрирован: Вс дек 08, 2019 9:46 pm
Благодарил (а): 1 раз
Поблагодарили: 0

Re: Распознавание речи [Python]

Сообщение kionlife » Вт дек 10, 2019 3:10 pm

fandaymon писал(а):
Вт дек 10, 2019 1:26 pm
Так написано уже всё. Чем написанное не устраивает? Там и SST и TTS и включение прослушки по ключевому слову, которое можно выбрать самому, и интеграция с МДМ, и работа с гугл ассистентом по каким-то ключевым словам.
Попробую поставить на свою клячу :)
Чесно говоря не видел этого решения.
Ответить