소니인터랙티브엔터테인먼트 연구팀이 손가락마다 움직임을 정밀하게 추적할 수 있는 차세대 가상현실 컨트롤러를 개발해 프로토타입 연구 성과를 공개했다.
이 가상현실 컨트롤러는 걸쇠 같은 부분을 잡으면 가상 공간에서 손을 잡는 동작. 손가락을 하나씩 구부리는 동작까지 감지해 3D 이미지에 곧바로 반영할 수 있다. 주먹을 쥐었다가 손가락을 펴도 이를 감지한다. 어떤 손가락을 구부리고 폈는지 인식할 수 있는 것이다. 크기가 다른 손이라도 11가지 동작까지 인식할 수 있다.
다만 알 수 없는 손가락 움직임도 있다. 예를 들어 검지와 중지, 약지와 새끼손가락을 붙이고 중지와 약지 사이만 크게 벌리는 것 같은 동작은 잘 인식하지 못한다. 마찬가지로 집게와 엄지손가락을 붙여 고리를 만드는 것 같은 동작도 인식할 수 없다.
이 컨트롤러는 땀 흘린 손이나 반지, 시계 등을 낀 손도 거뜬하게 인식한다. 자체에 62개 전극을 갖추고 있으며 전극마다 감지하는 정전 용량에서 손가락 움직임을 판정하는 시스템에서 카메라에 손가락 움직임을 추적한다. 전극마다 걸리는 정전 용량에 해당하는 손가락 움직임에 학습하는 광학 추적 시스템과 회선 신경망도 이용한다.
물론 이 컨트롤러는 어디까지나 논문을 발표한 단계이며 실용화 여부는 아직 알 수 없다. 하지만 소니는 지난해 5월 가상현실 컨트롤러용 피부 감각 피드백 기술 라이선스 계약을 취득했고 플레이스테이션5용 컨트롤러인 듀얼센스에도 이 기술을 탑재할 예정이다. 이번에 발표한 기술 역시 이 같은 컨트롤러에 적용될 가능성도 지적된다. 관련 내용은 이곳에서 확인할 수 있다.