Обычные видеоролики, даже снятые в превосходном качестве, никогда не смогут сравниться с тем, как видит мир человек своим зрением. Дело в том, что люди получают картинку с двух глаз. Кроме того, во время движения головы включается параллакс движения. Благодаря этому люди смогут оценивать не только объем, но и смещение объектов в пространстве относительно друг друга.
Нечто подобное попробовали реализовать разработчики шлемов виртуальной реальности и стереокамер. Но это удалось только частично – удалось только бинокулярное зрение. А вот параллакс движения в таких устройствах сделать не получилось – камера находится в одной определенной точке пространства. Google уже несколько лет работает над этой проблемой и уже добилась некоторых результатов.
Инженеры компании сумели создать систему, где задействованы аппаратные и программные методы. В результате у пользователя появляется возможность видеть картинку «как бы с разных позиций». Для этого используются 46 видеокамер, располагающиеся в разных точках полусферы. Видеопотоки с них передаются в сверточную нейросеть, которая дробит их на слои, где главным критерием выступает расстояние до объектов.
Далее запускается процесс сложного преобразования слоев, результатом которого становится полигональная сетка и текстурный атлас, где разрешение картинки соответствует 3240 на 5760 точек. Уже появилось несколько роликов, снятых по этой технологии. Их битрейд достигает от 150 до 300 мегабит / секунду, что позволяет использовать ее для стриминга в шлемах виртуальной реальности.
