Исследователи из Вашингтонского университета совместно с разработчиками из Facebook создали алгоритм, который «оживляет» людей на фотографиях. По единственному снимку он генерирует трёхмерную движущуюся модель фигуры, которая может садиться, прыгать, бегать и даже «выходить» за пределы изображения. Алгоритм работает также для рисунков и персонажей аниме.
Работа алгоритма
Для создания такой технологии исследователи воспользовались наработками коллег.
- Нейросеть Mask R-CNN распознаёт на изображении фигуру человека и выделяет её из фона.
- Другой алгоритм накладывает на фигуру упрощённую разметку скелета, определяя то, как она будет двигаться.
- Третий алгоритм «заполняет» пространство фона, ранее скрытое фигурой.
Далее собственный алгоритм исследователей на основе размеченной двумерной фигуры создаёт трёхмерную модель и по исходному изображению генерирует уровень текстуры.
Разработчики добавили пользовательский интерфейс, который позволяет менять позу фигуры, чтобы отредактировать саму фотографию или определить, с чего начнётся анимация. Кроме того, можно «оживить» рисунок или фотографию в дополненной реальности и увидеть объёмную фигуру в VR- или AR-очках.
Похожую технологию представили исследователи из DeepMind. Их алгоритм способен построить трёхмерную модель объекта по нескольким изображениям, что позволяет по фотографиям воссоздавать в виртуальной реальности объёмные сцены.
