Дженсен Хуанг, глава компании NVIDIA, представил новаторскую технологию под названием ACE for Games. Данная технология дает возможность «оживить» персонажей видеоигр, обеспечивая естественный диалог на различных языках и реалистичные выражения лиц.
Кроме того, новая технология обладает способностью преобразовывать речь в визуальные выражения лица и наоборот. Хуанг продемонстрировал имитацию игры, в которой неигровой персонаж по имени Jin (владелец азиатской забегаловки) реагировал на вопросы игрока, взаимодействуя с ним голосом и давая реалистичные ответы.
ACE for Games предоставляет быстрый доступ к трем главным компонентам. Первый из них — NVIDIA NeMo, это фреймворк с NeMo Guardrails, разработанный для предотвращения нецензурных диалогов с искусственным интеллектом.
Вторым компонентом является NVIDIA Riva — решение, которое преобразует речь в текст и обратно. В демонстрации технологии ACE for Games, игрок обращался к персонажу через микрофон; речь преобразовывалась в текст, который передавался языковой AI-модели.
Третий и последний компонент в рабочем процессе технологии – NVIDIA Omniverse Audio2Face. Этот компонент позволяет персонажам отражать выражения лиц, соответствующие их произнесенной речи.
