코넬대학과 위스콘신매디슨대학 연구팀이 손목 움직임을 소형 열 카메라로 감지하고 손가락 움직임과 손 자세를 추정하는 기술인 핑거트랙(FingerTrak)을 공동 개발했다.
단순하게 손 움직임만 감지하는 것뿐이라면 스마트워치 등에 이용하는 가속도계를 이용해도 충분하다. 이를 통해 손가락 움직임을 알고 카메라를 조합한다. 예를 들어 가상현실 헤드셋이라면 바이브나 오큘러스 퀘스트 등은 헤드셋 전면 카메라를 통해 손 추적을 한다. 하지만 현실 세계 뿐 아니라 카메라를 이용한 추적은 물건을 잡거나 할 때 손가락이나 손 인식이 어려워진다는 문제가 있다.
핑거트랙은 손가락 자체를 추적하는 게 아니라 손목 윤곽을 4개 저해상도 열 카메라로 감시한다. 이어 이 영상에서 딥신경망 DNN을 이용해 20개소 관절 위치를 추정한다. 손가락을 직접 감시하는 건 아니기 때문에 손에 뭔가를 갖고 있거나 복잡한 포즈로 손가락이나 손 움직임을 추적할 수 있는 게 특징이다.
피험자 11명을 이용한 테스트에선 인식 각도 오차는 6.46도에서 8.06도였다고 한다. 아직까지 정밀 추적이라고까지 말할 수는 없지만 추적용 장갑 등을 필요로 하지 않기 때문에 가상현실로 손 인식을 하는 데 활용할 수 있을 것으로 보인다. 연구팀은 이 기술을 수화 번역이나 파킨슨병, 알츠하이머병 등 조기 발견에 도움을 주는 걸 기대하고 있다. 관련 내용은 이곳에서 확인할 수 있다.