디즈니, 3D 얼굴 맵+AI 결합 “자연스러운 얼굴 생성”

영상 작품에선 CG나 VFX를 활용해 현실에는 일어날 수 없는 연출을 하거나 소품으로는 만들 수 없는 물체를 등장시킬 수 있다. 디즈니 AI 연구 부문은 이 기술을 더 발전시켜 안구와 입안, 머리카락 등이 존재하지 않는 3D 얼굴 맵과 AI를 결합해 살아있는 인간과 같은 자연스러운 얼굴을 만들어내는 연구를 하고 있다.

물론 이미 인간 얼굴을 캡처하는 기술은 높은 단계까지 진화하고 있다. 하지만 눈이나 입안, 머리카락 같은 세부 사항까지는 재현되어 있지 않다. 2016년 공개된 영화 로그원 스타워즈 스토리에선 1994년 죽은 피터 커싱이 과거작에서 연기한 걸 재등장시키기 위해 다른 배우가 맡았다. 얼굴 모션 캡처를 CG로 얼굴에 합성하는 방법이 채택됐다. 이 방법으로 재현한 얼굴은 높은 평가를 받은 한편 말하거나 움직이면 위화감이 있다는 지적도 있었다.

어쨌든 인간 캡처로 생성한 모델과 사실적인 인간 사이에는 큰 격차가 존재하며 숙련된 아티스트 수작업이 필요하다. 여기서 디즈니는 3D 얼굴 스킨과 신경 렌더링에 의해 생성된 눈이나 입이라는 요소를 조합하는 것으로 영상 작품을 견딜 수 있는 자연스러운 얼굴을 만드는 방법을 개발했다.

연구팀이 이용한 건 엔비디아가 개발한 이미지 생성 알고리즘(StyleGan2)이다. 2018년 발표된 초대 알고리즘을 개선한 것으로 CG보다 훨씬 사실적인 눈과 입을 생성할 수 있다. 연구팀은 3D 얼굴 스킨과 알고리즘으로 생성한 눈과 입 같은 세부 사항을 결합해 인간다운 얼굴을 만들 수 있다고 말한다. 새로운 수법은 표정에서 다양한 변화에 대응하는 게 가능하고 얼굴 각도와 조명 변화에도 대응할 수 있다.

여전히 생성된 얼굴을 움직일 때 헤어스타일을 일관되게 하기 어려운 문제가 있기 때문에 실제로 영상 작품 등에 이용하려면 추가 연구가 필요하지만 연구팀은 이 접근법이 얼굴 이미지 데이터세트를 생성하는 잠재적 기술이 될 것이라고 주장하고 있다. 관련 내용은 이곳에서 확인할 수 있다.