헤드셋‧컨트롤러 만으로 하반신 움직임 재현한다?

소니가 2023년 차세대 가상현실 기기인 PSVR2(PlayStation VR2) 출시를 발표하고 메타도 2022년 10월 차세대 가상현실 헤드셋을 예고하고 있다. 부담 없이 가정에서 가상공간에 들어가기 위한 기기로 사용되는 가상현실 헤드셋이지만 이들은 머리 측 디바이스와 양손에 있는 컨트롤러만으로 인간 몸을 추적하고 있는 탓에 머리와 손 움직임 밖에 정확하게 재현할 수 없다. 하지만 메타 연구팀이 새롭게 하반신 움직임도 정확하게 재현하는 방법을 고안했다고 발표했다.

기존 일반 가상현실 시스템은 헤드셋과 컨트롤러만 이용해 머리와 손 움직임만 추적할 수 있다. 팔꿈치와 몸통, 다리 위치는 역운동학이라고 불리는 알고리즘 일종을 이용해 추정할 수는 있지만 팔꿈치 움직임은 정확도가 부족해 다리에 대해선 거의 재현할 수 없다고 한다.

하지만 메타 연구팀은 자사 가상현실 헤드셋인 메타 퀘스트2와 기계학습을 이용해 헤드셋과 컨트롤러만으로 전지 포즈를 추정하는 데 성공했다고 발표하고 있다. 실증 실험 모습을 보면 헤드셋과 컨트롤러만 장착한 인간 전신 움직임이 재현되고 있다는 걸 알 수 있다.

영상 속 왼쪽 절반이 실제로 가상현실 헤드셋과 컨트롤러를 갖고 있는 사용자 움직임을 실사로 촬영한 것이며 오른쪽 절반은 헤드셋과 컨트롤러에서 수집한 데이터를 바탕으로 사용자 움직임을 추정한 데이터다. 장착자가 달리면 다리를 구부리는 등 제대로 이를 재현하고 있다. 상반신과 하반신이 복잡하게 움직이는 댄스 같은 움직임도 어느 정도 정확하게 재현된다. 가상 공간에 장애물을 두면 아바타에 장애물을 걷어차게 하거나 아바타를 굴릴 수 있다고 한다.

다만 이런 재현은 어디까지나 추측이며 하반신의 올바른 위치와 일치하는 건 아니다. 또 이 재현에 걸리는 지연은 160ms로 타인 움직임을 보는 건 좋지만 아래를 향해 자신의 몸을 보는 건 적합하지 않다고 한다. 관련 내용은 이곳에서 확인할 수 있다.