Посмотрите сами, как сильно отличается реальность от того, что мы видим на экране телевизора. Мир, который мы видим, объемен, а изображение на дисплеях плоское. Исследователи давно ищут способы улучшить качество видео и только недавно начали получать результаты. Одной из интереснейших разработок стал новый алгоритм, способный преобразовать не только двухмерное видео в объемное, но и произвольно менять ракурс съемки. При этом решение было достигнуто при использовании всего одной камеры, а не нескольких.
Ранее уже велись работы в этом направлении. Их все можно разделить на две категории. К перовой можно отнести разработки аппаратных средств. Это, например, VR-гарнитуры и экраны светового поля. Были и программные разработки, которые базировались на хранении и обработке объемных данных. А не так давно поисковый гигант Google показал технологию, где использовалось несколько камер и кадры с них совмещались так, что у зрителя создавалось впечатление настоящего объемного видео. Такой подход, безусловно, хорош и эффективен, но отличается сложностью, что не позволяет его использовать массово.
Практически все современные видео сняты всего на одну камеру. Соответственно, метод, предложенный «корпорацией добра», не приемлем. Исследователи из Политехнического университета Виргинии, объединив усилия с Facebook, создали нейросеть NeRF, способную к обычному 2D-видео создавать кадры, снятые с точек, отличных от расположения реальной камеры во время съемки. Ее функционал допускает хранение информации о 3D-сцене и рендеринге ее 2D-изображений с произвольных углов. При этом процесс рендеринга осуществляется попиксельно и только потом отображается новый кадр.
Процесс обработки видео усложняется тем, что для каждого момента времени есть только один кадр, отснятый только одной камерой. Решение было найдено – параллельно друг другу алгоритм создает две модели. Одна отображает подвижные фрагменты сцены, другая исключительно неподвижные. Так же нейросеть научилась прогнозировать трехмерный поток, что так же сказалось на качестве результата. Сравнение этой технологии с другой, разработанной другой научной группой, показало, что она позволяет обеспечить большую реалистичность, объем и плавность переходов, но несколько уступает по чёткости.