미국 MIT공대 연구팀이 지난 2월 출시된 애플 MR 헤드셋인 애플 비전 프로(Apple Vision Pro)를 사용해 4족 보행 로봇을 손과 머리 제스처로 조종하는 비전 프로 전용 앱을 개발했다. 연구진이 공개한 동영상을 보면 4족 보행 로봇을 제스처로 움직여 문손잡이를 열거나 물건을 집어 올리는 모습을 확인할 수 있다.
애플 비전 프로는 풀컬러 패스스루를 사용해 주변 현실과 가상공간을 융합하는 공간 컴퓨팅(Spatial Computing)을 구현한 헤드셋으로 현실 공간에 가상 작업 환경을 중첩시킬 수 있다. 이미 애플 비전 프로를 착용한 채 거리를 걷는 모습도 목격되고 있다.
연구팀은 인간 머리와 손 움직임을 추적해 같은 와이파이에 연결된 로봇으로 동작을 스트리밍하는 애플 비전 프로 전용 앱인 트래킹 스트리머(Tracking Streamer)를 개발했다. 손동작에 따라 로봇 팔이 움직이고 웅크리면 로봇도 따라서 웅크린다. 로봇팔로 문손잡이를 잡고 돌려서 문을 열거나 바닥에 떨어진 물건을 줍는다. 트래킹 스트리머는 애플 비전 프로 카메라와 센서로 현실 세계와 영상을 중첩시키는 AR키트(ARKit)를 이용해 손과 머리 움직임을 추적한다고 한다. 관련 내용은 이곳에서 확인할 수 있다.