코로나 19로 인해 MWC 2020 행사가 중단됐다. 결국 퀄컴이 온라인 프레스 행사를 통해 새로운 XR 헤드셋 레퍼런스 디자인을 발표했다.
이 제품은 지난해 퀄컴이 발표한 XR 플랫폼인 스냅드래곤 XR2(Snapdragon XR2)를 기반으로 카메라와 각종 센서를 결합한 것이다. 고품질 모바일 XR과 VR의 열쇠가 될 5G 통신을 지원하는 게 특징. XR(eXtended Reality)이란 가상현실 VR과 증강현실 AR, 복합현실 MR을 결합한 말이다.
스냅드래곤 XR2는 오큘러스 퀘스트와 HTC 바이브 포커스 등이 채택한 스냅드래곤 835보다 CPU와 GPU 성능은 2배, 동영상 대역폭은 4배, 해상도는 6배, AI 처리 속도는 11배에 이른다. AI라는 막연한 표현으로 보이지만 온 디바이스 기계학습 엔진은 손가락 추적이나 표정, 음성 인식 카메라와 각종 센서를 통해 주위 환경 인식과 가상 객체와의 상호 작용 등 인간의 감각에 가까운 VR이나 AR 응용 프로그램을 구현하는데 중요하다.
이번에 공개한 레퍼런스 디자인이 지원하는 카메라는 모두 7개. 내부 2개는 시선 추적용이며 외부 4개 중 2개는 헤드 트래킹과 주위 환경 맵핑, 나머지 2개는 외부를 투과하거나 가상 객체와 겹쳐 보여주는 MR용 RGB 카메라다. 여기에 제조사마다 표정 인식과 입술 추적, 컨트롤러 추적을 위한 카메라를 추가할 수 있다.
5G 지원은 퀄컴 X55 5G 모뎀에 의한 것으로 밀리미터파와 서브 6GHz파 모두 지원한다. 단순히 고화질 VR 영상 스트리밍 외에도 근처 PC에서 스트리밍을 하거나 엣지 컴퓨팅 노드와 낮은 지연 시간 연결을 통한 AR 응용 프로그램 등을 들 수 있다. 엣지 컴퓨팅은 5G 기지국이나 공유기에 컴퓨팅 노드를 두고 무선 네트워크와 일체화하는 것으로 대량 데이터를 낮은 지연시간에 지능적으로 상호 작용하게 하겠다는 발상이다. 모바일 단말은 너무 무거워서 기존 클라우드 컴퓨팅은 처리 시간이 느린 만큼 실시간에 가까운 처리를 하거나 앞으로 AR 응용 프로그램에 필요한 방대한 데이터를 로컬 처리해 속도를 빠르게 할 수 있다.
또 다른 레퍼런스 디자인 사양은 핸드 추적과 헤드트래킹용, SLAM용 IR 이미터, 한쪽당 2K씩 지원하는 액정 디스플레이를 지원하며 파트너 NDI의 추적용 수신기(Atraxa), 안구 추적은 포비티드(Foveated) 렌더링을 지원하는 토비(Tobii)를 준수한다.
아트락사는 자기 센서와 가속도 센서를 통해 정확한 6DoF 추적을 실현하는 기술. 컨트롤러 측 자기를 헤드셋 측 센서로 측정하는 광학 추적처럼 카메라 영상에 의존하지 않고 손이나 다른 컨트롤러에서 차단된 뒷면 등 카메라 화각 밖도 측정할 수 있다.
시선 추적을 활용한 포비티드 렌더링은 주시하는 점 주위를 고화질로 그려서 인간의 지각으로 어디를 봐도 고화질로 보이게 해 실제 GPU 성능을 넘어선 그래픽을 실현하는 기술이다. 시선 추적을 할 수 없는 기존 가상현실 헤드셋에서도 시각 중심을 고해상도로 하고 주위를 저해상도로 렌더링한 픽스드 포비티드(Fixed Foveated) 렌더링을 지원한다. 픽스드의 경우 머리를 움직이지 않고 시선만 주변에 조준해 그리기가 거칠어지게 나타나거나 문자를 읽으려면 살짝 시선을 돌리는 게 아니라. 머리를 움직여 정면을 보는 등 의식을 해야 한다. 하지만 시선 추적과 함께 하면 주목한 장소가 고품질로 그려져 주관적으론 그래픽 품질이 전체적으로 높아진 것처럼 느껴진다.
이번에 발표한 건 스냅드래곤 XR2를 이용한 헤드셋을 만들려는 OEM 업체에게 몇 개월 안에 제공할 예정이라고 한다. 소비자용 제품에 채택되는 건 조금 더 기다려야 하는 것. 관련 내용은 이곳에서 확인할 수 있다.