사진 1장으로 3D 이미지 만드는 방법 개발했다

최근에는 입체적이고 깊이가 있는 3D 이미지를 생성하는 기술이 크게 발전하고 있다. 페이스북 AI 리서치(Facebook AI Research)와 카네기멜론대학 연구팀이 깊이를 재현하고 시점을 전후좌우로 이동 가능한 3D 이미지를 사진 1장으로 생성하는 방법을 발표했다.

이전부터 깊이를 느낄 수 있는 이미지를 생성하는 기술은 일부 개발되어 2019년 9월에는 카메라가 움직이는 것처럼 관점이 움직이는 이미지를 만들어내는 기술이 발표됐을 뿐 아니라 2020년 4월에는 이미지 1개에서 여러 레이어를 포함한 깊이를 연출하는 3D 이미지를 생성하는 방법도 발표됐다.

이번에 새로 연구팀은 월드시트(Worldsheet)라는 방법을 발표했다. 이 기술은 시점을 기존보다 광범위하게 움직일 뿐 아니라 3D화에 따른 이미지 혼란이 적은 3D 이미지를 생성할 수 있다.

정보량이 한정되어 있는 사진 1장에서 3D 이미지를 생성할 때 문제가 되는 건 풍경의 3D적 형상 파악과 다른 관점에서 텍스처 맵핑이다. 이 문제를 해결하기 위해 연구팀은 평면 매쉬 시트를 학습한 깊이와 일치하게 붙여 넣을 때 3D 형상을 파악하는 구조를 고안했다. 예를 들어 영상 1개가 입력되면 월드시트는 이미지 심도를 학습한 뒤 평면 매쉬시트에 붙여 3D 형상을 파악하고 텍스처 맵핑을 한다. 이렇게 생성된 3D 이미지 속에서 관점을 움직이는 게 가능해진다.

사진 1장에서 싶도 정보를 추측하고 이에 따라 격자 매쉬 시트에 붙여 넣으며 이런 작업은 회선신경망을 통해 이뤄진다. 메쉬 시트 형상에 대응한 텍스처 맵핑을 하면서 시점 위치가 바뀌었을 때에도 자연 질감이 배치되는 구조다. 이 방법은 신경망을 학습시킬 때 3D 이미지를 필요로 하지 않고 2D 이미지만 사용해 훈련시킨다. 학습 초기 단계에선 매쉬 시트가 깊이를 형성하지 않지만 점점 3D 형상을 파악하기 시작하며 마지막으로 공간을 제대로 재현한 3D 이미지를 생성할 수 있게 된다.

2016년 개발한 방식(Im2Im) 이미지와 월드시트 생성 3D 이미지를 비교하면 월드시트 3D 이미지는 시점을 움직여도 변하지 않게 표시된다. 2020년 개발된 방식(SynSin) 이미지와 비교하면 언뜻 차이를 알 수 없지만 관점을 이동하면 월드시트 3D 이미지는 거의 흐트러지지 않는다. 사진 뿐 아니라 일러스트도 월드시트에 적용하면 3D 이미지로 생성할 수 있다고 한다. 관련 내용은 이곳에서 확인할 수 있다.