Многие слышали слово «синестезия», но совсем немногие знают, что оно означает. Этот термин описывает ситуации, когда одни чувства пробуждают в человеке другие. Встречается это совсем нечасто и только у небольшого числа людей. В качестве примера можно привести ситуации, когда при просмотре работ художников начинает звучать музыка внутри. Этот феномен сложно объяснить, но еще сложнее игнорировать.
Всемирный поисковик поставил перед собой сложную задачу, решение которой далеко продвинет компанию и человечество в познании возможностей искусственного интеллекта. Новый проект будет реализован в тесном сотрудничестве с Национальным центром искусства и культуры Жоржа Помпиду в Париже. Исследователям предстоит обучить нейросеть видеть и генерировать синестезию. Задача усложняется тем, что на данный момент нет никаких систематических знаний об этом явлении.
Эксперимент будет искать правила, соответствия и выстраивать из них систему. В качестве базы будет использована уже существующая сеть Google Transformer, в свое время обученная музыкантами из коллектива NSDOS и Антуаном Бертеном. Предполагается, что нейросеть выполнит анализ произведений Кандинского и соотнесет цветовую гамму со звуками так, чтобы просмотр картины сопровождался гармонирующей с ней музыкой. Сможет ли ИИ справиться с такой нетривиальной задачей?