최근에는 AI 기술이 비약적으로 발전하며 일러스트와 만화 등 제작에 AI를 이용하는 시도가 진행되고 있으며 더 복잡한 게임 제작에도 AI를 활용할 가능성을 모색하고 있다. 게임 업계에서 20년 가까이 캐릭터나 배경 모델 제작을 해온 관계자가 게임 캐릭터 3D 모델 제작에 AI를 이용할 수 있을지 시도해본 결과를 공개해 눈길을 끈다.
테스트는 배경이 2D, 캐릭터가 3D인 2.5D 게임 3D 모델 작성에 AI를 이용할 수 있을지 시험해보는 형태로 이뤄졌다. 최선은 AI로 캐릭터 콘셉트를 생성하고 이를 3D 모델화하는 것으로 보고 미드저니(Midjourney)에서 프롬프트를 입력하고 캐릭터 설정도를 생성하는 것으로 시작했다. 프롬프트에서 특정 아티스트명은 사용하지 않았다고 한다. 몇 가지 조정을 한 결과 3D 모델 기초에 사용할 수 있는 품질로 모델 시트를 생성할 수 있었다.
AI에 의해 생성된 동일 캐릭터를 다양한 각도에서 본 이미지는 원근법이나 앵글 문제는 있었지만 기본적으로 놀라울 정도로 뛰어난 일관성을 유지하고 있었다고 한다. AI가 생성한 배면도에는 물론 조금 문제가 많았기 때문에 측면도와 정면도부터 3D 모델에 넣기로 했다.
하지만 캐릭터를 완성시키면 다양한 텍스처 투영이 메쉬상에서 올바르게 일치하지 않았다고 한다. 텍스터 투영마다 모프맵을 만들어 정면, 후면, 측면 외형이 메쉬상에서 가능하면 일치하도록 조정을 실시했다. 이후 만든 3D 메쉬를 2D로 전개하고 3D 모델을 만들었다고 한다.
이번에는 어디까지나 원경만을 보는 걸 전제로 하고 캐릭터 세부 사항에는 고집하지 않았다. 캐릭터 3D 모델이 완성된 뒤에는 2D 배경도 AI에서 만들었다.
이어 오픈소스 도구(fSpy)를 이용해 이미지를 3D 공간으로 변환하고 캐릭터와의 원근감이 일치하도록 조정했다. 그리고 소재를 유니티로 가져와 캐릭터를 걸을 수 있는 간단한 영상을 만들었다. AI로 이미지 생성과 3D 모델 작성 등을 포함한 작업 시간은 18시간 정도이며 캐릭터 작성으로 2일, 배경 작성에 3일 정도 작업 시간을 단축할 수 있었다고 추정하고 있다.
결과가 물론 완벽하지는 않아 캐릭터 클로즈업은 이상적이지 않고 배경도 아트 디렉션이 어렵고 상당히 무작위가 될 수 있다. 하지만 AI 단점을 받아들이고 피하면 AI를 공동 작업자로 활용하면 완전한 게임을 만들 수 있을 것이라는 설명이다. 관련 내용은 이곳에서 확인할 수 있다.