스테빌리티AI “영상 하나로 8개 시점 생성을…”

스테빌리티AI(Stability AI가 다각도 영상을 생성하기 위한 AI 모델인 스테이블 비디오 4D(Stable Video 4D)를 발표했다.

스테이블 비디오 4D는 스테빌리티 첫 비디오 투 비디오 생성 모델로 동영상에서 다른 각도나 시점 동영상을 생성할 수 있는 것. 사용자는 영상 하나만 올리면 8개 다른 각도 동영상을 출력할 수 있다. 사용자는 생성되는 동영상 카메라 각도를 지정할 수 있으며 특정 창의적 요구에 맞춰 출력을 조정할 수도 있다.

스테이블 비디오 4D는 이미지에서 동영상을 출력할 수 있는 AI 모델인 스테이블 비디오 디퓨전(Stable Video Diffusion)과 스테이블 비디오 3D(Stable Video 3D)를 기반으로 개발된 AI 모델로 입력한 동영상에 나오는 객체 여러 새로운 뷰 동영상을 생성해 다른 각도 동영상을 생성한다. 사용자는 영상 1개를 올리고 원하는 3D 카메라 포즈를 지정하기만 하면 된다. 그러면 스테이블 비디오 4D는 지정된 카메라 시점에 따라 8개에 이르는 새로운 시점 동영상을 생성해 피사체에 대한 포괄적인 다각적 시점을 제공한다. 생성된 동영상에 대해 스테빌리티AI 측은 동영상 내 피사체에 대한 동적인 3D 표현을 효율적으로 최적화하는 데 사용할 수 있다고 설명했다.

We are pleased to announce the availability of Stable Video 4D, our very first video-to-video generation model that allows users to upload a single video and receive dynamic novel-view videos of eight new angles, delivering a new level of versatility and creativity.

In… pic.twitter.com/1YbI2W514K

— Stability AI (@StabilityAI) July 24, 2024

스테이블 비디오 4D는 8개 시점에 걸쳐 5프레임 동영상을 40초 만에 생성할 수 있으며 전체 4D 최적화에는 20~25분이 소요된다고 한다. 스테빌리티AI는 스테이블 비디오 4D 사용 용도에 대해 게임 개발이나 동영상 편집, VR 콘텐츠 생성 등 분야에서 향후 응용될 수 있을 것으로 예상하며 이들 분야 전문가는 여러 시점에서 객체를 시각화하는 능력으로부터 큰 혜택을 받아 제품에 대한 현실감과 몰입감을 높일 수 있다고 기술했다.

한편 스테이블 비디오 4D 훈련 데이터세트에는 라이선스(Open Data Commons Attribution License)로 배포되는 오브제버스(Objaverse)가 사용되고 있다.

스테이블 비디오 4D는 허깅페이스에서 이용 가능하다. 다만 연간 수익이 100만 달러를 초과하는 개인이나 조직의 경우 스테이블 비디오 4D를 상업적으로 사용하기 전에 스테빌리티AI로부터 직접 엔터프라이즈 상업용 라이선스를 취득해야 한다. 관련 내용은 이곳에서 확인할 수 있다.