Специалисты одного из научных центров Санкт-Петербурга представили программу, способную выполнять анализ и распознавание команд при помощи только камеры смартфона. Система использует в своей работе искусственный интеллект и распознает сказанное человеком по губам в буквальном смысле слова. Разработчики сообщают, что это первая специализированная программа такого плана, ориентированная на русскоговорящую аудиторию пользователей.
Ученые полагают, что их разработка может быть весьма полезной для голосовых помощников. С ее помощью можно повысить точность распознавания команд. Особая эффективность достигается в сложных условиях, когда велик уровень шума, не позволяющий даже чувствительным микрофонам корректно понимать команды, отдаваемые человеком. При этом новая система может быть совмещена с традиционной, для достижения лучшей точности.
Перед запуском этот сервис прошел длительное обучение. Для этого использовались видеоролики со звуковым сопровождением. После их анализа нейросеть научилась распознавать основой набор команд, отдаваемых голосом. К тестированию разработки были привлечены водители, работающие на производствах, где уровень шумов считается высоким. Испытания показали, что система уверенно распознает 90% голосовых команд и до 60-70% жестов.