지난 10월 4일 메타가 동영상 생성 AI인 무비젠(Movie Gen)을 발표했다. 무비젠은 텍스트에서 동영상 생성, 이미지로 등장인물을 지정해 텍스트에서 동영상 생성, 기존 동영상 편집, 동영상에 BGM이나 효과음 추가 등 작업이 가능하며 경쟁 동영상 생성 AI에 비해 고품질 동영상을 생성할 수 있다고 한다.
먼저 텍스트에서 동영상 생성. 동영상은 무비젠을 사용해 “붉은 얼굴에 하얀 털을 가진 원숭이가 자연 온천에서 목욕하고 있다. 원숭이는 앞에 있는 나무로 만든 하얀 돛과 작은 방향타가 있는 미니어처 돛단배를 가지고 물놀이를 하고 있다. 온천은 바위와 나무가 있는 푸른 녹음으로 둘러싸여 있다”는 텍스트로 생성한 것. 텍스트에 포함된 요소가 모두 포함되어 있으며 AI스러운 위화감도 적다.
다음은 등장인물을 지정해 동영상 생성. 무비젠에서는 사람 사진을 입력해 등장인물로 지정할 수도 있다. 동영상은 오른쪽 상단 이미지를 입력하면서 “무지개 벽지가 있는 실험실에서 과학 실험을 하고 있는 남자. 남자는 진지한 표정으로 안경을 쓰고 있다. 그는 흰색 실험복을 입고 있고 주머니에는 펜이 있다. 남자가 유리 비커에 액체를 붓자 하얀 연기가 피어 오른다”는 텍스트를 입력해 생성한 것이다.
이어 기존 동영상 편집. 무비젠을 사용해 기존 동영상을 편집하는 것도 가능하다. 4분할 동영상은 왼쪽 상단이 원본 동영상이고 오른쪽 상단은 “VR 헤드셋을 쌍안경으로 바꾼다, 왼쪽 하단은 VR 헤드셋을 제거한다, 오른쪽 하단은 미래적인 거품 효과를 추가한다”라는 텍스트로 편집한 동영상이다.
다음은 기존 동영상에 BGM이나 효과음 추가. 기존 동영상에 BGM이나 효과음을 추가하는 것도 가능하다. BGM이나 효과음 타이밍은 동영상에 맞춰 자동으로 조정된다. 예를 들어 동영상에는 절벽과 사람에게 비가 쏟아지고 배경에서는 음악이 흐르고 있다는 텍스트로 생성한 BGM과 효과음이 추가되어 있다.
이어 다른 동영상 생성 AI와의 비교. 무비젠 성능을 Runway Gen3, OpenAI Sora, Kling 1.5, ID-Animator 등 동영상 생성 AI와 비교하는 A/B 테스트를 실시한 결과 무비젠이 경쟁 AI에 비해 높은 평가를 받았다고 한다. 무비젠 연구 논문은 링크에 공개되어 있다. 관련 내용은 이곳에서 확인할 수 있다.