런웨이, 동영상 생성 AI 모델 젠-3 알파 출시

AI 기업 런웨이(Runway)가 대규모 다중 모달 훈련을 위해 구축한 새로운 인프라에서 학습시킨 새로운 동영상 생성 AI 모델인 젠-3 알파(Gen-3 Alpha)를 발표했다. 젠-3 알파는 복잡한 장면 변화, 광범위한 시네마틱 옵션, 상세한 아트 디렉션 기능을 갖춘 동영상을 생성할 수 있는 AI 모델.

Introducing Gen-3 Alpha: Runway’s new base model for video generation.

Gen-3 Alpha can create highly detailed videos with complex scene changes, a wide range of cinematic choices, and detailed art directions.https://t.co/YQNE3eqoWf

(1/10) pic.twitter.com/VjEG2ocLZ8

— Runway (@runwayml) June 17, 2024

런웨이는 젠-3 알파에 대해 대규모 다중 모달 훈련을 위해 구축된 인프라에서 런웨이가 학습시킬 향후 AI 모델 시리즈 첫 번째 모델로 일반 세계 모델을 구축한다는 자사 목표에 중요한 한 걸음이라고 설명했다.

Gen-3 Alpha is the first of an upcoming series of models trained by Runway on a new infrastructure built for large-scale multimodal training, and represents a significant step towards our goal of building General World Models.

Prompt: Subtle reflections of a woman on the window… pic.twitter.com/Lw54twUTbs

— Runway (@runwayml) June 17, 2024

젠-3 알파는 동영상과 이미지 모두에서 학습됐기 때문에 텍스트에서 동영상을 생성할 뿐 아니라 이미지에서 동영상을 생성하거나 텍스트에서 이미지를 생성할 수 있다. 또 모션 브러시, 고급 카메라 컨트롤 기능, 디렉터 툴 등 제어 기능을 향후 강화할 예정이다.

Trained jointly on videos and images, Gen-3 Alpha will power Runway's Text to Video, Image to Video and Text to Image tools, existing control modes such as Motion Brush, Advanced Camera Controls and Director Mode, and upcoming tools to enable even more fine-grained control over… pic.twitter.com/sWXIb3NXgm

— Runway (@runwayml) June 17, 2024

런웨이 측은 젠-3 알파가 크리에이티브 용도를 위해 철저히 훈련된 동영상 생성 AI 모델로 연구 과학자, 엔지니어, 아티스트로 구성된 학제간 팀 공동 작업물이라고 강조했다. 또 런웨이는 젠-3 알파 패밀리 일원이 될 젠-3 알파 맞춤 버전을 대형 엔터테인먼트 회사나 미디어 기관과 협력해 개발 중이라고 한다.

Gen-3 Alpha was trained from the ground up for creative applications. It was a collaborative effort from a cross-disciplinary team of research scientists, engineers and artists.

Prompt: FPV moving through a forest to an abandoned house to ocean waves.

(4/10) pic.twitter.com/537sUxJ85A

— Runway (@runwayml) June 17, 2024

런웨이는 젠-3 알파에 대해 이런 비약적 기술 진보는 아티스트를 지원하고 차세대 창조적이고 예술적인 혁신의 길을 열어주는 자사 노력에서 중요한 이정표가 될 것이라고 말했다. 젠-3 알파는 앞으로 며칠 내에 누구나 사용할 수 있게 될 예정이다.

As part of the family of Gen-3 models, we have been collaborating and partnering with leading entertainment and media organizations to create custom versions of Gen-3 Alpha.

Customization of Gen-3 models allows for even more stylistically controlled and consistent characters,… pic.twitter.com/ebfyfzGoJv

— Runway (@runwayml) June 17, 2024

보도에 따르면 젠-3 알파 첫 출시 버전에서는 5~10초 동영상 생성 기능을 사용할 수 있게 된다. 5초 동영상을 생성하는 데 45초, 10초 동영상을 생성하는 데 90초가 소요된다고 한다. 런웨이 측은 젠-3 알파가 먼저 런웨이 유료 구독 사용자에게 제공될 것이라고 말했다. 관련 내용은 이곳에서 확인할 수 있다.

This leap forward in technology represents a significant milestone in our commitment to empowering artists, paving the way for the next generation of creative and artistic innovation.

Gen-3 Alpha will be available for everyone over the coming days.

Prompt: A slow cinematic push… pic.twitter.com/cLaZvGpeu6

— Runway (@runwayml) June 17, 2024