애플 비전 프로(Apple Vision Pro)는 애플 첫 MR(혼합 현실)을 지원하는 헤드셋이다. 고가 기기인 한편 잠금 해제용 암호를 잊으면 다시는 부팅할 수 없게 된다거나 아무것도 하지 않았는데 유리에 금이 갔다는 등 불편 사항도 보고되고 있다. 하지만 연구자는 애플 비전 프로에서 사용자가 문자를 입력할 때 눈 움직임을 추적하는 GAZEploit이라는 공격이 새롭게 발견됐다고 보고하고 있다.
애플 비전 프로 특징 중 하나는 시선을 커서 대신 사용하는 아이 트래킹을 탑재하고 있다는 것. 예를 들어 시야 왼쪽에 예, 오른쪽에 아니오가 표시되어 응답할 수 있거나 눈앞에 표시된 키보드를 시선만으로 입력할 수 있다. 아이 트래킹을 통한 입력은 사용자 경험을 향상시킬 뿐 아니라 비밀번호를 입력할 때 손 제스처나 음성 인식에 비해 주변 사람이나 화상 통화 중인 상대방 등에게 비밀번호 내용을 알려지기 어렵다는 장점도 있다.
하지만 플로리다 대학과 텍사스 공과대학 연구팀은 애플 비전 프로가 갖춘 아이 트래킹 기능에 취약점이 있었다고 발표했다. 애플 비전 프로에는 화상 통화나 회의 중 등에서 사용자 얼굴을 기반으로 한 실제 같은 아바타를 사용하는 페르소나라는 기능이 있다. 연구자에 따르면 시선으로 키를 입력하려는 사람 움직임을 페르소나에서 캡처해 분석, 입력된 키를 재구성할 수 있는 취약점이 발견됐다고 한다. 연구자는 이 취약점을 이용해 입력한 문자를 훔치는 공격을 GAZEploit이라고 부른다.
GAZEploit은 개인 기록에서 추출된 눈 종횡비와 시선 추정이라는 2가지 생체 인증을 이용한다. 읽어 들인 결과를 분석해 타이핑 동작을 비디오 시청이나 게임 플레이 같은 다른 애플 비전 프로 관련 활동과 구별한다. 그리고 추출한 시선 움직임을 가상 키보드 위에 매핑해 잠재적인 키스트로크를 결정하는 구조다. 연구에 따르면 타이핑 중에는 시선 방향이 집중되어 주기적 패턴이 되기 쉽거나 눈 깜박임 빈도가 감소한다고 한다.
GAZEploit 연구는 개인 30명 데이터로 테스트됐으며 사용자가 메시지나 비밀번호, URL, 이메일 주소, 패스코드를 입력한 타이밍에 대해 높은 정확도로 감지했다. 연구자는 시선 안정성을 계산하고 시선 움직임을 분류하기 위한 임계값을 설정하는 알고리즘을 개발했다며 데이터세트 평가에서는 타이핑 세션 내에서의 키스트로크 식별에 대한 정확도가 85.9%, 재현율은 96.8%였다고 말했다.
애플은 GAZEploit을 가상 키보드로의 입력이 페르소나에서 추측될 가능성이 있다고 인식하고 있으며 visionOS 1.3 릴리스에서 이 문제는 가상 키보드가 활성화될 때 페르소나를 일시 중지함으로써 해결됐다고 발표했다. 2024년 6월에는 애플 비전 프로를 사용하면서 어떤 웹사이트를 방문하게 하는 것만으로도 그 사용자 시야에 거미나 박쥐 등을 대량 발생시킬 수 있는 역사상 첫 공간 컴퓨팅 해킹도 연구자에 의해 보고됐으며 이때도 애플은 빠르게 수정 패치를 릴리스했다.
보도에선 애플은 이런 취약점을 신속하게 수정했지만, VR・AR 기능이 확대되면서 새로운 공격 벡터가 계속 출현할 가능성이 있음을 상기시킨다며 이런 연구는 VR 기술이 보급됨에 따라 강력한 프라이버시 보호 대책이 필요해진다는 점을 강조하고 있다면서 몰입형 시스템은 점점 더 풍부한 행동 데이터를 수집하기 때문에 사용자 경험과 데이터 보호간 균형을 맞추는 게 광범위한 도입에 중요해질 것이라고 말했다. 관련 내용은 이곳에서 확인할 수 있다.