Приложения-переводчики не справляются с шумной обстановкой, делая текст перевода бесполезным. Существующие технологии, включая высокотехнологичные очки с функцией перевода, работают только с одним собеседником и не подходят для группового общения. Команда исследователей разработала систему наушников, способную переводить речь нескольких человек одновременно, сохраняя направление и индивидуальные особенности всех голосов. Система использует алгоритмы для разделения голосов в реальном времени, их перевода и воспроизведения с задержкой всего 2–4 секунды.
Система имеет несколько ключевых особенностей. Она автоматически обнаруживает говорящих. При активации наушники сканируют пространство на 360 градусов, определяя количество собеседников и их местоположение. Алгоритмы работают по принципу радара, постоянно обновляя данные о перемещении людей. Обеспечивается реалистичный перевод с сохранением голоса
тембра, выразительности и громкости каждого говорящего. Система работает на устройствах с чипом Apple M2, таких как ноутбуки Apple и Vision Pro, без использования облачных вычислений для защиты конфиденциальности. Даже если собеседник поворачивает голову или перемещается, система продолжает корректно определять направление его голоса.
Технология успешно прошла испытания в 10 различных помещениях и на открытом воздухе. В тестах с участием 29 человек пользователи предпочли её другим системам, поскольку она учитывала расположение говорящих. Оптимальной оказалась задержка в 3–4 секунды — более быстрый перевод приводил к ошибкам. Пока система поддерживает испанский, немецкий и французский языки, но может быть адаптирована для 100 языков. В будущем разработчики планируют сократить время перевода и добавить поддержку специализированной лексики.
Ранее в Японии разработали маску-переводчик Donut Robotics.
