게임 캐릭터의 어색한 움직임, AI가 해결사?

게임에서 플레이어는 복잡한 디지털 세계를 자유롭게 탐험할 수 있게 되면서 CG 캐릭터 역시 자연스럽게 움직이고 그곳에 있는 모든 요소와 상호 작용하는 건 점점 더 어려워지고 있다. 미리 프로그래밍한 동작과 움직임 사이에서 발생하는 부자연스러움이 가장 큰 문제.

이런 어색함을 막기 위해 연구팀들은 AI와 딥러닝을 이용해 실제 인간과 거의 비슷하게 현실감 넘치는 게임 캐릭터를 움직일 수 있도록 하려 한다. 캐릭터가 걷거나 달리고 점프하는 것 같은 동작을 최대한 현실감 있게 표현하려면 게임 개발자는 실제 인간의 움직임을 캡처해 디지털 캐릭터에 반영한다. 하지만 연구팀에 따르면 이는 캐릭터를 수동으로 애니메이션화하는 것보다 빠르고 모양새도 좋지만 캐릭터가 디지털 세계와 어떻게 상호 작용하는지 모든 것에 맞춰 모션을 촬영하는 건 불가능하다고 말한다.

게임 개발자는 가능하면 많은 가능성을 계획하려 한다. 하지만 결국에는 소프트웨어에 의존할 수밖에 없다. 캐릭터의 연속 움직임이 과장되거나 부자연스럽게 느껴질 수 있어 플레이어의 게임 경험은 손상된다.

에딘버러대학과 어도비리서치 연구팀은 이를 해결할 새로운 방법을 찾았다. 12월 호주 브리즈번에서 열린 ACM 시그라프(ACM SIGGRAPH) 콘퍼런스 기간 중 발표할 예정으로 딥러닝에 의한 신경망 능력을 활용해 현재 게임이 안고 있는 애니메이션의 어색함을 해결한다는 것이다.

이는 마치 딥페이크 영상을 만드는 방법과 비슷하다. 딥페이크 영상을 만든다면 신경망은 먼저 대상자 얼굴을 여러 각도에서 촬영한 얼굴 사진 데이터베이스 수만 장을 이용해 상상할 수 있는 모든 표정을 학습한다. 이 과정에는 시간이 걸리지만 이는 현실적으로 보이는 얼굴 교체를 자동으로 생성할 수 있게 해준다.

이 연구에선 비슷한 접근 방식을 이용하지만 얼굴 데이터베이스에서 신경망을 학습시키는 대신 사운드 스테이지에 있는 배우에게서 캡처한 디지털화된 일련의 동작을 학습에 이용한다. 최상의 결과를 얻으려면 배우가 물건을 집거나 어딘가에 기어 올라가거나 의자에 앉는 등 동작에 대한 방대한 데이터베이스가 필요하다. 이 작업을 한 번 하면 신경망은 자연적인 외형과 움직임을 생성하면서 학습한 걸 거의 모든 상황과 환겨엥 맞게 적응시킬 수 있다. 따라서 캐릭터가 의자를 향해 걷고 천천히 몸을 회전시키거나 앉는 동작 사이에 어색함이 없다. 이런 움직임과 애니메이션을 지능적으로 연결해주기 때문이다.

모션캡처를 한 걸 이 기술로 보완하면 파일 크기와 처리, 공유할 필요가 있는 데이터량을 줄이는데 도움이 될 수 있다. 이 기술은 게임 캐릭터의 복잡한 상호 작용에 도움을 줄 수 있다. 관련 내용은 이곳에서 확인할 수 있다.