신경망을 활용해 사진 1장으로 마치 촬영하는 카메라가 움직이는 시점 위치가 바뀐 것처럼 보이는 이미지를 만드는 3D 켄번(3D Ken Burns) 효과라는 기술이 개발됐다.
이 효과를 이용하면 원본 이미지에서 카메라가 마치 다가가는 것 같은 이미지가 생성된다. 단순한 이미지 확대와 달리 배경이 되는 먼 개체별로 확대되지 않는 반면 가까운 물체는 현저하게 확대된다. 또 3차원 공간에서 카메라 높이도 변화한다.
단순한 확대 효과인 2D 켄번(2D Ken Burns)과 3D 켄벤(3D Ken Burns)을 비교하면 2D는 배경까지 확대해버리기 때문에 단순한 이미지 확대라는 걸 알 수 있다. 한편 3D는 배경 위치가 거의 변하지 않고 앞쪽 개체가 커지고 시점 높이까지 변화하는 것처럼 보여 마치 공중 촬영에 드론을 등진 채 촬영한 영상처럼 보인다. 3D 효과를 거는데 필요한 시간은 몇 초 남짓. 이 효과를 이용하면 카메라가 다가가는 것 같은 영상을 만들 수도 있다.
3D 켄번 효과는 원근법 원리를 이용해 전경을 배경보다 크게 확대해준다. 연구팀은 언리얼 엔진4 마켓플레이스에 공개된 가상 3D 공간 32개를 이용해 실내와 시내, 교외, 자연 등 촬영 환경을 13만 4,041 장면 분량 촬영하고 3가지(VGG-19·Mask R-CNN·Refinement Network) 신경망에 올려 이미지 내 객체 깊이에 관한 학습을 실시했다.
3종류 신경망은 학습 결과 이미지 점군과 지점별 깊이를 알 수 있게 됐다. 3D 켄번 효과는 깊이값에서 카메라를 움직인 것처럼 보이는 이미지로 개체 배율을 따로 계산한다. 또 확대 과정에서 개체에 균열이 들어가거나 왜곡되는 경우도 있기 때문에 연구팀은 상황에 따라 자동 적용할 수 있는 수정 시스템고 개발했다.
논문 대표 저자인 사이먼 니콜라스는 포틀랜드주립대학에서 컴퓨터비전과 딥러닝을 전공하고 어도비 산하 연구기관인 어도비 리서치(Adobe Research) 인턴 기간 중 이번 논문을 저술했다. 공동 저자 역시 어도비 연구원이다. 이들은 3D 켄번 효과 코드와 데이터세트 공개를 검토하고 있지만 어도비의 승인을 얻지는 않은 상태라고 한다. 관련 내용은 이곳에서 확인할 수 있다.