사진 1장으로 물 흐름 영상 만드는 딥러닝 모델

미국 워싱턴대학 연구팀이 딥러닝을 이용해 사진 한 장으로 같은 장소에서 찍은 동영상을 레퍼런스 삼지 않고 영상을 만들어낼 수 있는 기술을 개발했다.

기계학습은 이미지를 확장하는 분야에서 잠재력을 발휘해왔다. 예를 들어 마이해리티지(My Heritage)라는 기업이 이미 예전 초상화에 움직임을 주는 기술을 개발하고 있다. 한편 이번에 워싱턴대학 연구팀이 개발한 새로운 방법은 자연계에서 물과 구름, 연기 등이 흐르는 현상에 초점을 맞추고 있다.

기술 원리는 이렇다. 먼저 딥러닝 모델에 고통점은 대량 데이터를 읽어들여 학습시킨다. 이 경우 하천과 폭포, 바다 등 어쨌든 물 움직임을 표현하고 있는 동영상이라면 뭐든지 가능하다. 물 흐름을 표현하는 동영상 첫 번째 프레임만 잘라내 모델을 통해 다음 물 움직임을 모델로 예측한다. 또 예측한 결과와 실제 동영상을 비교해 딥러닝 모델에 물 움직임을 조금씩 배우게 한다고 한다.

이런 학습을 한 뒤 사진 1장을 입력하면 이 모델은 프레임당 픽셀 단위로 물 움직임을 예측하고 짧은 동영상을 만들어준다는 것이다. 하지만 여기에서 한 가지 문제는 진짜 강과 폭포는 끊임없이 흐르기 때문에 물 움직임을 재현하기 위해 픽셀 위치를 이동시키면 물이원래 있던 자리가 공백이 되지 않도록 새로운 물 이미지를 보전할 필요가 있다. 따라서 연구팀이 개발한 기술(symmetric splattering)은 시간 흐름과 함께 물이 어떻게 행동할지 예측하는 동시에 시간 흐름과 역행하고 물이 어떻게 움직이는지도 예측해 2가지 영상을 절묘하게 혼합해 현실감 있는 루프 영상을 만드는 게 가능하다고 한다.

이 모델을 이용해 동영상을 실제로 만들어본 결과는 제각각이었다고 한다. 진짜처럼 훌륭하게 재현한 것도 있지만 어떤지 조금 이상하다고 느껴지는 것도 있다는 것. 이유 중 하나는 딥러닝 학습 모델은 물 움직임과 연기가 빛에 미치는 영향을 전혀 고려하지 않기 때문이다. 수면이 빛을 복잡하게 반사하는 모습 등은 조금이라도 부자연스러운 움직임을 하면 바로 위화감이 느껴진다. 연기나 안개가 뒤쪽 경치를 숨기거나 왜곡하는 것도 마찬가지다.

하지만 딥러닝 모델에 더 많은 학습 영상을 읽어들이게 하면 곧 극복할 수 있는 문제인 만큼 이미 스마트폰 등에 탑재한 이미지 편집 기능을 이용해 가공할 수도 있을 듯하다. 관련 내용은 이곳에서 확인할 수 있다.