Дек 12

Как создать реалистичную 3D модель по фотографии

Как создать реалистичные 3D модели по фотографии

Как создать реалистичные 3D модели по фотографии

Ученые из Университета Южной Калифорнии разработали методику создания трехмерных изображений по обычным фотографиям. Примечательно, что для получения объемных моделей достаточно всего одного снимка.
Трехмерные изображения генерируются глубокой нейросетью VGG-19, распознающей общую форму, создающей карту базового цвета, а затем подбирающей реалистичные текстуры по имеющейся базе данных с изображениями лиц людей разного пола, возраста и этнической принадлежности.
Ученые провели два эксперимента по определению эффективности нового метода, получив довольно забавные результаты. В первом эксперименте добровольцам предлагали оценить маски, левая половина которых в точности повторяла реальный облик моделей, а правая была либо реальной, либо сгенерированной нейросетью. Во втором же испытании участникам предлагалось выбрать наиболее реалистичные маски в наборах из трех образцов, созданных нейросетью, 3D-сканированием по технологии структурированной подсветки и сгенерированных по вероятностным моделям с использованием метода главных компонент. Как оказалось, детализированные структуры, созданные нейросетью, оказались даже чересчур реалистичными и зачастую вводили волонтеров в заблуждение излишними морщинками или даже случайно проставленными родинками.
Очевидно, что метод пока еще далек от совершенства, однако вполне может найти применение в персонализации аватаров в компьютерных играх и приложениях виртуальной реальности, а возможно и 3D-печати кастомизированных фигурок.