영화나 애니메이션 등 영상 작품에서 대량 사진을 잘라 마치 만화 컷 나누기처럼 배치하고 대사나 효과음을 추가한 게 필름 코믹스다. 이런 영화를 편집자 엇이 만화로 전자동으로 만들어주는 시스템을 중국 대련과학기술학원 연구팀이 개발했다.
연구진이 개발한 시스템은 동영상에서 키 프레임을 추출해 만화풍 이미지로 변환한 뒤 여러 페이지에 걸쳐 프레임 나누기를 실시해 시계열에 따라 이미지가 늘어나는 것. 캐릭터별 대사는 음성이나 동영상에 포함된 자막 파일에서 추출된 풍선 대사로 작성된다. 또 대사 문자 크기나 풍선 형태는 음성을 분석해 시스템이 캐릭터 감정을 평가하고 이에 따라 변화한다.
또 화면에 비치는 배우 입을 얼굴 인식 시스템에서 캡처, 지금 누가 말하고 있는지 판단할 수 있다.
연구팀에 따르면 동영상 키 프레임 선택은 아직 정확도가 떨어진 경우에 따라선 같은 키 프레임은 선택되기 때문에 생성되는 만화가 장황하게 될 수도 있다는 것. 하지만 연구팀은 이 실험은 지금까지의 시스템과 비교해 보다 풍부한 매력적인 만화를 합성할 수 있다는 걸 보여준다고 밝혔다. 관련 내용은 이곳에서 확인할 수 있다.