소니가 2023년 차세대 가상현실 기기인 PSVR2(PlayStation VR2) 출시를 발표하고 메타도 2022년 10월 차세대 가상현실 헤드셋을 예고하고 있다. 부담 없이 가정에서 가상공간에 들어가기 위한 기기로 사용되는 가상현실 헤드셋이지만 이들은 머리 측 디바이스와 양손에 있는 컨트롤러만으로 인간 몸을 추적하고 있는 탓에 머리와 손 움직임 밖에 정확하게 재현할 수 없다. 하지만 메타 연구팀이 새롭게 하반신 움직임도 정확하게 재현하는 방법을 고안했다고 발표했다.
기존 일반 가상현실 시스템은 헤드셋과 컨트롤러만 이용해 머리와 손 움직임만 추적할 수 있다. 팔꿈치와 몸통, 다리 위치는 역운동학이라고 불리는 알고리즘 일종을 이용해 추정할 수는 있지만 팔꿈치 움직임은 정확도가 부족해 다리에 대해선 거의 재현할 수 없다고 한다.
하지만 메타 연구팀은 자사 가상현실 헤드셋인 메타 퀘스트2와 기계학습을 이용해 헤드셋과 컨트롤러만으로 전지 포즈를 추정하는 데 성공했다고 발표하고 있다. 실증 실험 모습을 보면 헤드셋과 컨트롤러만 장착한 인간 전신 움직임이 재현되고 있다는 걸 알 수 있다.
영상 속 왼쪽 절반이 실제로 가상현실 헤드셋과 컨트롤러를 갖고 있는 사용자 움직임을 실사로 촬영한 것이며 오른쪽 절반은 헤드셋과 컨트롤러에서 수집한 데이터를 바탕으로 사용자 움직임을 추정한 데이터다. 장착자가 달리면 다리를 구부리는 등 제대로 이를 재현하고 있다. 상반신과 하반신이 복잡하게 움직이는 댄스 같은 움직임도 어느 정도 정확하게 재현된다. 가상 공간에 장애물을 두면 아바타에 장애물을 걷어차게 하거나 아바타를 굴릴 수 있다고 한다.
다만 이런 재현은 어디까지나 추측이며 하반신의 올바른 위치와 일치하는 건 아니다. 또 이 재현에 걸리는 지연은 160ms로 타인 움직임을 보는 건 좋지만 아래를 향해 자신의 몸을 보는 건 적합하지 않다고 한다. 관련 내용은 이곳에서 확인할 수 있다.