3D-рендеринг — сложный процесс, отнимающий немало времени и вычислительных ресурсов компьютера. Команда разработчиков Samsung создала нейросеть, способную создавать фотореалистичные сцены на основе пользовательского видеоматериала за считаные минуты.

Сотрудники южнокорейской компании создали систему, способную создавать фотореалистичные трёхмерные сцены на основе пользовательского видео, изменяя угол зрения камеры по сравнению с оригиналом. Нейросеть превращает изображение в набор точек, представляющих геометрию сцены, и обрабатывает их как компьютерную графику. В результате небрежно снятый ролик можно перемонтировать, изменив перспективу камеры без повторной съёмки.

Опубликованный разработчиками алгоритма видеоролик — не результат съёмки камерой, а уже готовая трёхмерная графика. ИИ создаёт из видео «облако» объёмных точек, каждая из которых хранит информацию о цвете и геометрических параметрах объектов в кадре. В настоящее время алгоритм способен обрабатывать небольшие сдвиги перспективы и работать с масштабированием или перемещением «камеры».

Справа — оригинальное изображение, слева — кадр, сгенерированный нейросетью

По словам программиста Дмитрия Ульянова, одного из авторов разработки, 3D-дизайнеры часто тратят часы на создание сцен, в то время как нейросети нужно около 10 минут на изучение вводного материала и по 20 миллисекунд на рендеринг каждого кадра. Впрочем, технология ещё требует доработки — при значительном изменении угла зрения в сгенерированном видео появляются заметные артефакты.

Разработчики уже анонсировали приложение, позволяющее «путешествовать» от первого лица в виртуальном мире, созданном с помощью преобразования видео алгоритмами искусственного интеллекта. В перспективе новая технология может найти применение в игровой индустрии или для монтажа неудачных сцен при съёмке фильмов.