동영상을 만화로 변환해주는 AI 기술?

코믹시파이(Comixify)는 바르샤바공대 연구원이 동영상에서 특징적인 장면만 추출해 이를 만화풍으로 바꿔주는 기술이다.

발표한 논문에 따르면 만화를 그리려면 너무 시간이 걸리지만 동영상을 만화로 변환하는 도구를 제공하면 개인이나 출판사가 콘텐츠를 만드는 방법에도 혁명을 일으킬 가능성이 있다고 밝히고 있다. 만화 제작 방식의 전환에 주목한 연구인 것으로 보인다.

기술적으론 2가지 요소로 나눠 하나는 동영상에서 의미 있는 특징적인 장면을 추출하는 것, 다른 하나는 추출한 장면을 만화풍으로 완성하는 것이다. 먼저 동영상을 2프레임씩 샘플링하고 의미 있는 장면 키 프레임을 추출한다. 이를 이미지 평가엔진을 거쳐 특징을 만화풍으로 마무리하는 식이다.

만화풍으로 완성하는 부분에는 딥러닝을 이용한다. 그 중에서도 GAN(Generative Adversarial Networks)이라는 AI 알고리즘을 이용한다.

GAN은 생성적 적대 신경망의 약자로 일반 딥러닝은 대량 데이터를 이용해 AI를 학습하도록 하지만 GAN은 생성 네트워크와 식별 네트워크 2가지를 이용해 사람의 손을 거치지 않은 채 학습을 실시한다. 예를 들면 생성 네트워크가 고양이 이미지를 생성하고 식별 네트워크는 이것이 고양이인지 여부를 판정한다. 이를 통해 생성 네트워크는 진짜로 판정하기 위해 더 정밀한 이미지를 생성하도록 학습하고 식별 네트워크는 더 정확한 판정을 위해 학습한다.

코믹시파이는 키 프레임을 만화풍으로 변환하기 위해 이 같은 GAN을 이용해 인공지능 훈련을 실시한다. 또 이 시스템은 데모를 공개해 원하는 동영상 변환을 해볼 수도 있다. 다만 동영상 용량은 50MB까지만 가능하다. 완성작은 아직 만화라고 하기에는 부족하지만 미래에는 레이아웃 변화를 늘려 음성을 텍스트로 변환하는 구조도 고려 중이라고 한다. 이를 통하면 영화의 만화화 등이 쉽게 가능해질 수도 있다. 관련 내용은 이곳에서 확인할 수 있다.