메타는 가상현실에 모든 걸 베팅하고 있다. 메타는 모두가 더 사용하고 싶어질 수 있는 가상현실을 실현하는 기술을 연구 개발하고 있다. 이 중에는 스마트폰으로 셀카를 찍는 것만으로 간단하게 사용자와 똑같은 3D 아바타를 만들 수 있는 기술도 있다.
최근 할리우드 영화에선 디지털 스턴트맨을 만드는 사례가 늘고 있다. 장점은 배우를 위험에 빠뜨리지 않고 액션을 찍을 수도 있지만 마블코믹스 의상을 재현할 때에도 디지털이기 때문에 가능하게 되는 면도 있다.
이런 디지털 스턴트맨을 만들기 위해선 지금은 뛰어난 시각 효과 아티스트와 특수 도구가 필요하다. 도구란 예를 들어 트래킹 카메라를 가득 탑재한 거대한 사운드 스테이지라든지 배우 얼굴이나 몸을 정확하게 인식하기 위한 특수 수트나 메이크업 등 사용법도 어렵도 비용도 들어간다.
더 간단한 3D 아바타로는 애플 캐릭터나 게임 캐릭터 같은 것도 있다. 하지만 이런 간이 캐릭터는 결국 아무리 본인과 닮았다고 해도 리얼티리 측면에선 디지털 스턴트맨 발밑에도 미치지 못한다.
메타는 현실적인 3D 아바타를 만들기 위해 스마트폰을 활용하기도 결정했다. 올해 8월 캐나다 벤쿠버에서 열리는 콘퍼런스 시그래프 2022(Siggraph 2022)에서 발표 예정인 논문 속에서 메타 리얼리티랩(Reality Labs) 연구팀이 이 같은 기술을 발표하고 있다. 이 기술을 이용하면 스마트폰 카메라로 촬영한 데이터를 바탕으로 다양한 표정, 감정을 표현할 수 있는 현실적인 3D 아바타를 쉽게 만들 수 있다고 한다.
2019년 당시 페이스북 연구팀은 거대한 구체 안에 고해상도 카메라 171대를 탑재한 장치(Mugsy)를 이용해 3D 아바타 생성에 필요한 이미지를 촬영했다. 초당 180GB 데이터를 기록해 피사체가 되는 인물은 카메라 구체 중심에 1시간 정도 있어야 하고 스크립트에 따라 이상한 얼굴을 취해야 할 필요가 있었다. 그 결과 현실적인 3D 모델은 만들 수 있었지만 많은 사람을 디지털화하는 건 비현실적이었다.
하지만 3년이 지나면서 메타는 전용 기기를 스마트폰 셀카 카메라로 대체할 수 있는 기술을 개발했다. 새로운 기술을 이용하면 3D 아바타를 만들려면 카메라 수백 대나 1시간에 걸친 촬영이 필요하지 않다. 사용자 조작은 스마트폰으로 얼굴을 찍으면서 지정된 65종류 표정을 만들거나 지정 방향으로 시선을 향하는 것뿐이다. 연구팀에 따르면 이 과정은 3분 반 정도면 끝난다.
메타가 발표한 새로운 구조로는 사전에 255명분 다양한 얼굴을 세트로 3D 촬영해 얼굴 만들기를 학습하고 있다. 이 학습으로 만들어낸 신경망을 이용해 사용작 찍은 얼굴 데이터를 처리해 놀라울 만큼 현실적인 3D 아바타를 만들 수 있다. 다만 이 처리에는 상당한 계산량이 필요하고 고성능 컴퓨터에서도 6시간 걸릴 정도다. 따라서 이 부분은 클라우드 측에서 처리하기로 하면 사용자가 고속 컴퓨터를 갖고 있지 않아도 문제가 없다고 한다.
이 3D 아바타 툴은 현재는 안경을 쓴 채로는 기능하지 않거나 긴 머리 재현이 제대로 안되는 과제가 있다. 만들 수 있는 것도 머리 뿐이며 실제 서비스로 사용하려면 단점이 있을 수 있다. 관련 내용은 이곳에서 확인할 수 있다.