Старые снимки умирают медленно: бумага желтеет, лица покрываются пятнами, а цифровые копии после многократного сжатия обрастают артефактами. Обычные фильтры умеют подтянуть резкость, но вернуть человеку узнаваемые черты — задача иного порядка. Алгоритму нужно удержать форму глаз, линию носа, текстуру кожи и десятки других признаков. В журнале Pattern Recognition Letters описан метод GenR — система слепой реставрации лиц, которой не нужны заранее подготовленные пары «поврежденное — оригинал». Слово «слепой» означает, что программа не получает точного описания дефектов и восстанавливает лицо, опираясь лишь на уцелевшие визуальные данные.
В основе GenR лежит генеративная модель StyleGAN3, способная превращать числовое представление из латентного пространства в реалистичное изображение. GenR запускает модель в обратную сторону: вместо создания случайного лица алгоритм ищет набор параметров, который воспроизведет конкретного человека с поврежденного кадра. Такой процесс называют инверсией генеративной модели. Генератор предлагает правдоподобный вариант, опираясь на знания о человеческих лицах и уцелевшие фрагменты. Здесь пролегает опасная граница: нейросеть может выдать четкий результат, но внешняя убедительность не гарантирует сходства с реальным человеком.
Чтобы не дать модели увлечься выдумыванием, GenR восстанавливает изображение поэтапно. Сначала фиксируется крупная геометрия — положение головы, общая форма лица. Затем алгоритм уточняет глаза, нос, челюсть. Лишь после этого включается работа с мелкой фактурой кожи и волосами. Эксперименты охватили четыре типа повреждений: шум, низкое разрешение, пропущенные участки и артефакты сжатия. Обработка одного снимка занимала около тридцати секунд, причем один конвейер справлялся со всеми видами повреждений без перенастройки.
При утере смартфона Google попросит записать видео.