AI 생성 캐릭터를 실제 같은 표정으로 애니메이션화해주는 도구

AI 개발 기업 런웨이(Runway)가 인물 영상을 촬영하는 것만으로도 AI가 생성한 캐릭터에 피사체 표정을 쉽게 전송할 수 있는 AI 도구인 액트원(Act-One)을 출시했다. 액트원은 런웨이 영상 생성 AI 모델인 젠-3 알파(Gen-3 Alpha)를 사용할 수 있는 사용자라면 누구나 이용 가능하다.

3D 모델에 표정을 입히는 페이셜 애니메이션이라 불리는 작업은 지금까지 모션 캡처 장비와 다양한 각도에서의 촬영 등 복잡한 프로세스가 필요했다. 혹성탈출: 진화의 시작 영화 촬영 장면을 보면 배우는 모션 캡처를 위해 수많은 센서를 부착하고 연기해야 했다.

하지만 최근 여러 AI 기업이 간편한 페이셜 애니메이션을 구현하는 AI 도구를 개발하고 있으며 런웨이의 액트원도 그 중 하나다. 액트원은 얼굴 표정 모델링에 중점을 둔 AI 도구로 스마트폰 카메라 등으로 영상을 촬영하는 것만으로도 피사체 얼굴 표정을 AI가 생성한 캐릭터 표정으로 전송할 수 있다.

런웨이는 액트원에 대해 액트원은 모션 캡처나 캐릭터 리깅 없이도 단일 비디오 입력으로 무수히 많은 다양한 캐릭터 디자인과 여러 스타일로 변환할 수 있다고 설명했다.

Introducing, Act-One. A new way to generate expressive character performances inside Gen-3 Alpha using a single driving video and character image. No motion capture or rigging required.

Learn more about Act-One below.

(1/7) pic.twitter.com/p1Q8lR8K7G

— Runway (@runwayml) October 22, 2024

액트원 강점 중 하나는 다양한 카메라 앵글과 초점 거리에서 시네마틱한 품질로 실제 같은 출력이 가능하다는 점으로 고가 장비나 복잡한 워크플로 없이는 구현하기 어려웠던 캐릭터의 복잡한 퍼포먼스를 소규모 크리에이터도 구현할 수 있다. 런웨이에 따르면 스마트폰 카메라와 대본을 읽는 배우 1명만 있으면 감정에 호소하는 콘텐츠를 제작할 수 있다고 한다.

런웨이 크리스토발 발렌주엘라 CEO는 생성 모델이 일관성 있는 비디오를 생성할 수 있는지 여부가 문제가 되는 단계는 이미 끝났다며 현재는 우수 모델이 새로운 기준이 됐다면서 이런 차이는 애플리케이션과 사용 사례를 어떻게 생각하는지 그리고 최종적으로 무엇을 구축하는지에 있다고 말했다.

실제 같은 표정 출력을 구현할 수 있는 액트원에는 포괄적인 일련의 안전 대책이 도입되어 있으며 공인이나 유명인 콘텐츠를 무단으로 생성하려는 시도를 자동 감지해 차단하기 위한 보호 수단과 사용자가 사용하는 음성이 정당한 것인지 확인하는 기술 도구가 포함되어 있다. 또 도구를 책임감 있게 사용하고 있는지 오용은 없는지 등에 대한 지속적인 모니터링도 이뤄진다고 한다.

한편 액트원은 2024년 10월 22일 이후 런웨이 영상 생성 AI 모델인 젠-3 알파 사용자를 대상으로 단계적으로 도입될 예정이다.

런웨이는 2024년 9월 영화·TV 프로그램 제작사인 라이온스게이트와 영화 제작에서의 AI 사용에 관한 제휴를 맺었다고 발표했다. 라이온스게이트 부회장 마이클 번스는 런웨이는 선견지명이 있고 최고 수준 파트너이며 AI를 활용해 자본 효율이 높은 최첨단 콘텐츠 제작 기회를 개발하는 걸 지원해 줄 것이라면서 AI를 현재 업무를 강화하고 보완하기 위한 훌륭한 도구로 보고 있다고 말했다. 관련 내용은 이곳에서 확인할 수 있다.