AI로 5400fps 슈퍼슬로모션 영상을 저렴하게?

취리히공대 연구팀이 망막을 모델로 개발한 이벤트 카메라(Event Based Camera)와 신경망을 이용해 5,400fps 초슬로모션 영상을 고화질로 촬영하는 방법을 발표했다.

일반 카메라로 24fps 영상을 촬영하면 1초당 24장 사진을 촬영할 수 있다. 슬로모션 영상은 120fps와 240fps 등 1초 프레임 수를 너무 많이 촬영하고 재생 프레임을 24fps나 30fps로 설정하면 실제보다 느리게 재생할 수 있도록 한 것이다.

연구팀이 이용한 이벤트 카메라는 렌즈를 통해 센서에 닿는 빛 밝기를 수치화해 출력하는 일반 카메라와 달리 센서에 닿는 빛의 밝기 변화만 파악하는 카메라다. 연구팀은 이벤트 카메라가 일반 카메라와 같은 선명한 영상을 얻을 수는 없지만 넓은 다이내믹레인지를 갖고 피사체를 치우침 없이 또 지연시간은 몇 마이크로초 정도인 장점이 있다면서 이벤트 카메라 데이터에서 프레임을 재구성하는 시스템을 구축했다.

연구팀은 먼저 수동으로 이벤트 카메라 데이터에서 프레임을 재구성하는 알고리즘을 개발했다. 그리고 시뮬레이션한 데이터를 이용해 같은 알고리즘으로 이벤트 데이터를 재구성할 수 있는 신경망을 훈련시키고 실제 데이터를 입력했다.

이벤트 카메라로 촬영하고 AI로 재구성한 영상은 흑백이지만 화웨이 P20 프로로 촬영한 240fps 영상과 같은 화질로 촬영할 수 있으면서 미세한 물체 모양과 움직임을 잘 포착할 수 있다.

이벤트 카메라는 밝기 변화 밖에 인식하지 않아 일반 카메라와 달리 물건 모양을 선명하게 포착하는 데에는 서투르다. 하지만 그럼에도 아이패드 등으로 촬영한 영상 못지 않은 수준 화질을 보여준다.

인간은 눈이 2개지만 카메라는 기본적으론 단안이기 때문에 물건 깊이를 인식하기 어렵다. 하지만 연구팀이 훈련시킨 AI는 이벤트 카메라 영상에서 물체 깊이를 추정할 수도 있다.

연구팀에 따르면 AI로 재구성한 슬로모션 영상은 일반 슬로모션 영상보다 화질이 20% 높아졌다고 한다. 5,000fps 이상 높은 프레임 속도로 동영상을 촬영하면 센서에 들어오는 빛의 양이 극단적으로 줄어들어 일반 카메라는 조명 조건이 까다로워진다. 하지만 휘도 변화를 읽는 이벤트 카메라 데이터를 이용하면 높은 프레임 속도로 고품질 슬로모션 영상을 촬영할 수 있다.

5,000fps 이상 높은 프레임 속도로 촬영할 수 있는 카메라는 대부분 업무용으로 가격이 높다. 전문가들은 이런 기술을 이용하면 저렴한 가격으로 슈퍼슬로모션 HDR 영상 촬영이 가능하게 될지도 모른다고 기대하고 있다. 관련 내용은 이곳에서 확인할 수 있다.