딥러닝 등을 이용해 정지 영상에서 물체를 없애거나 보정하는 기술은 이미 실현되어 있다. 하지만 구글은 영상의 깊이감에 착안해 동영상에서 사람이나 물건을 지우거나 실제로 존재하지 않는 개체를 합성하는 기술을 개발하고 있다.
고정 카메라로 촬영한 영상이라면 이를 3D화하는 건 그다지 어렵지 않다. 하지만 카메라와 피사체 모두 움직이는 영상을 3D화하는 건 상당히 어렵다. 이런 영상은 삼각측량 원리를 이용해 고정 카메라에서 피사체까지의 거리를 예측하고 영상을 3차원적으로 파악한다는 기존 알고리즘은 유효하게 기능하지 않는다.
구글이 주목한 건 2016년경 폭발적으로 유행한 마네킹 챌린지(Mannequin Challenge). 마네킹 챌린지에 도전한 사람은 모두 일제히 마네킹처럼 부동 자세를 취한 채 카메라만 움직인다. 구글은 이 같은 마네킹 챌린지를 통해 사람은 멈춰 있는데 카메라만 움직이는 영상 2,000개를 바탕으로 딥러닝을 통해 AI 학습을 진행했다.
마네킹 챌린지를 통해 학습한 카메라가 움직이는 영상 훈련을 실시한 것이다. 구글의 목표는 인간도 카메라도 움직이는 영상을 3D 영상으로 파악하려는 것이다. 구글은 인간의 두 눈을 모델로 운동시차 개념을 기계학습을 도입했다. 영상이 있는 프레임과 다른 프레임을 비교해 물체의 움직임을 2차원적 벡터로 나타내는 광학 흐름을 산출하고 픽셀 단위로 변화를 파악하는 것이다.
이 방법을 이용해 깊이를 예측하고 영상에서 이를 다룬 깊이맵을 작성한다. 깊이맵을 이용해 영상에 다양한 효과를 추가할 수 있다. 예를 들어 합성 기술을 이용해 화면 속에서 초점을 다른 쪽에 맞추고 다른 개체는 흐리게 처리할 수도 있다. 물론 배경에 초점을 맞출 수도 있다. 딥러닝을 이용한 깊이맵은 이런 가공을 실시간으로 할 수 있게 해준다. 그 뿐 아니라 실제로 존재하지 않은 개체를 삽입할 수도 있다. 응용 예로는 영상을 3D안경용으로 바꾸거나 영상에서 사람이 사라지게 할 수도 있다. 관련 내용은 이곳에서 확인할 수 있다.