영상 앞뒤만으로 중간 프레임 자동 생성한다?

구글 AI 연구팀이 심사 전 논문 공개 사이트인 아카이브(arXiv)에 게재한 논문에 따르면 새로 개발한 AI를 이용해 영상 처음과 마지막 프레임만으로 중간 프레임을 생성하는데 성공했다고 한다.

구굴리서치(Google Research) 소속 연구원인 윤펑 리(Yunpeng Li), 도미닉 더블렉(Dominik Doblek), 마르코 타글리아사치(Marco Tagliasacchi)는 영상 처음과 마지막 프레임만으로 그럴싸한 영상 중간 프레임을 생성해주는 AI를 개발했다. 개발한 AI는 동물의 시각 피질을 참고로 한 신경망으로 구성되어 있으며 2차원 회선 이미지 디코더, 3차원 회선 생성기, 비디오 생성기 같은 요소로 이뤄져 있다. 먼저 이미지 디코더가 처음과 마지막 프레임을 잠재적 공간에 맵핑하고 잠재적 표현 생성기가 입력 프레임 정보를 학습한다. 마지막으로 비디오 생성기가 중간 프레임을 생성한다.

연구팀은 샘플 3개를 이용해 개발한 AI 성능을 실험했다. 샘플은 16프레임으로 이뤄진 짧은 영상으로 프레임당 해상도 64×64픽셀로 이뤄져 있다. 이 영상에서 추출한 처음과 마지막 프레임만으로 AI에게 중간 14프레임을 생성하게 했다.

AI는 샘플별로 100회 모델링을 실행하고 모델을 수정해 같은 과정을 10회 가량 반복했다. 실험 데이터는 GPU인 엔비디아 테슬라 V100을 이용해 5일 가량 걸렸다고 한다. 그 결과 만들어진 영상 3편에서 AI가 만든 프레임과 실제 프레임을 비교하면 실제 영상에서 추출한 프레임과 AI가 생성한 프레임간에 그다지 큰 차이가 없다.

연구팀은 만화 프레임을 이용해 자동으로 애니메이션을 만들 수 있는 시스템을 상상해보라면서 확실히 애니메이션 업계에 혁명을 일으킬 수 있을 것이라고 밝히고 있다. AI에 만화 프레임을 넣어 애니메이션을 만드는 능력 수준까지는 아니지만 AI가 더 발전하면 애니메이션 업계도 간소화를 하는 데 도움이 될 것으로 보인다. 관련 내용은 이곳에서 확인할 수 있다.