워싱턴대학과 구글 리서치 연구팀이 일반 카메라로 자신을 3D처럼 보이게 촬영할 수 있는 차세대 셀카 기술인 너피스(nerfies)를 개발 중이다.
이 연구에선 촬영하는 한정된 순간을 더 포괄적으로 찍는 방법을 고안했다. 이 방법은 특별한 장비 없이도 카메라와 CPU 처리만으로 가능하다. 촬영한 데이터는 2D 이미지 뿐 아니라 3D로 피사체 주위를 줌이나 패닝하면서 볼 수 있다. 이를 통해 손수비게 자신만의 3D 인터랙티브 모델을 만들 수 있는 것.
3D로 촬영하려면 보통 레이저를 이용해 객체 사이 거리를 측정하고 3D를 재현할 수 있는 LiDAR(Light Detection and Ranging) 그러니까 빛으로 탐지해 거리를 측정하는 스캐너를 탑재한 특별한 하드웨어가 필요하다. 최신 아이폰12 프로나 아이폰12 프로 맥스는 라이더 센서를 탑재했지만 가격이 저렴하지는 않다. 너피스를 만들려면 프레임에 자신을 넣고 단말을 정면에서 앞뒤로 움직이거나 다양한 각도에서 스마트폰으로 동영상을 촬영하면 된다.
동영상 데이터로 3D 모델을 만들려면 NeRF(Neural Radiance Fields)라는 방법을 이용한다. 이는 객체를 다양한 각도에서 여러 사진을 찍은 2D 데이터를 이용해 3D 표현을 계산해 생성하고 다양한 관점에서 조작하거나 감상할 수 있다.
NeRF 방식의 문제점은 촬영 중 피사체가 완전히 정지할 필요가 있다는 것이다. 피사체가 움직이지 않는 것이면 문제가 없지만 항상 움직이는 피사체라면 카메라 여러 대를 나린히 여러 각도에서 동시에 인물 사진을 촬영한다. 카메라 여러 대가 필요하며 시설도 커지는 탓에 라이더 하드웨어 뿐 아니라 일반인에게는 장애물이 높다.
스마트폰을 앞뒤로 흔들면서 동영상을 촬영하는 것만으로도 여러 각도에서 사진을 생성할 수 있지만 이 절차를 완료하는 데에는 몇 초 가량 걸릴 수 있다. 가능하면 멈추고 피사체는 항상 이동하게 된다. 이 과제를 해결하기 위해 연구팀은 D-NeRF(Deformable Neural Radiance Fields)라는 새로운 방식을 연구 개발했다. 이 방식은 프레임을 비교하고 피사체가 얼마나 이동했는지 판단해 변형을 자동으로 계산 추출한 불완전한 2D 이미지 데이터를 조정해 정확하고 인터랙티브한 3D 모델을 만들 수 있다. 관련 내용은 이곳에서 확인할 수 있다.