이석원 기자
STIT(Stitch it in Time)는 영상에 비치는 인물 얼굴을 실시간으로 위화감 없이 편집할 수 있는 적대성 생성 네트워크 GAN 기반 기술이다.
GAN은 얼굴 이미지 편집에 널리 채택되는 기술이다. 다만 GAN을 이용한 편집을 동영상에 적용하는 건 상당히 곤란하다고 여겨진다. 이유는 영상에는 시간적 일관성이 존재하기 때문. 영상은 항상 시간적으로 일관되기 때문에 이를 잘못 편집하면 동영상에 위화감이 생겨버려 편집된 티가 난다.
하지만 STIT는 GAN 일종인 스타일GAN(StyleGAN)을 이용해 영상에 비치는 사람 얼굴을 위화감 없이 편집해주는 기술이다. STIT는 시간적 일관성을 강요하지 않고 프레임 수준에서 동영상을 편집할 수 있다. 이를 통해 부드럽게 영상을 편집할 수 있다. STIT에선 GAN 편집 파이프라인에 존재하는 다양한 컴포넌트를 분석하고 일관성 있는 콤퍼넌트를 특정하며 이를 이용하는 것으로 편집된 티가 안 나는 동영상을 생성할 수 있다고 한다.
이 기술을 이용하면 실제 영상 뿐 아니라 3D CG 애니메이션에서도 표정을 바꿀 수 있다. STIT는 아카이브(arXiv)를 통해 발표됐으며 소스코드는 깃허브에 공개되어 있다. 관련 내용은 이곳에서 확인할 수 있다.
이원영 기자
정용환 기자
