지난 6월 6일 열린 애플 개발자용 콘퍼런스인 WWDC23에서 발표된 MR 헤드셋인 비전 프로에는 비전OS(visionOS)라는 운영체제가 탑재되어 있다.
비전프로는 AR과 MR이라는 경험을 하게 해주는 장치다. 기본적으론 자신의 주변 환경을 그대로 바이저를 통해 볼 수 있으며 여기에 아이콘, 창, 콘텐츠가 표시된다. 비전OS는 공간에 창과 콘텐츠를 입체 표시하는 공간 컴퓨팅을 염두에 둔 운영체제다.
먼저 스페이스(Spaces). 스페이스는 윈도나 콘텐츠를 표시하는 공간 개념. 응용 프로그램은 기본적으로 공유 공간에서 시작되며 맥OS와 마찬가지로 여러 창이 나란히 표시된다. 앱은 윈도 등을 사용해 콘텐츠를 표시할 수 있어 사용자는 이를 좋아하는 장소에 재배치하는 게 가능하며 더 몰입감 있는 경험을 위해 애플리케이션은 전용 풀스페이스를 열고 해당 애플리케이션 콘텐츠만 표시할 수 있다. 전체 공간 내에선 창과 볼륨을 보고 경계가 없는 3D 콘텐츠를 만들고 다른 세계로 포털을 열고 환경에 완전히 몰입할 수 있다.
다음은 윈도(Windows). 비전OS 애플리케이션d로 1개 이상 윈도를 만드는 게 가능하다. 이들은 스위프트UI(SwiftUI)로 구축해 기존 뷰와 컨트롤 외에 3D 콘텐츠를 추가하는 것으로 사용자 경험에 깊이가 더해진다고 한다.
이어 볼륨(Volume). 앱에 3D감을 줘서 깊이를 추가하는 게 볼륨이다. 3D 볼륨은 리얼리티키트(RealityKit) 또는 유니티를 사용해 스위프트UI로 이뤄지며 공유 공간이나 앱 전체 공간에서 모든 각도에서 볼 수 있는 UX를 만든다.
다음은 프레임워크 확장. 그 뿐 아니라 비전OS 공간 컴퓨팅용으로 개발 환경이나 프레임워크가 확장되거나 새롭게 설계되고 있다. 비전OS 개발은 애플이 제공하는 통합 개발 환경 엑스코드(Xcode)에서 이뤄진다. 애플은 또 스위프트UI는 새로운 비전OS 앱을 구축하거나 기존 아이패드OS 또는 iOS 앱을 플랫폼에 제공하는 가장 좋은 방법이라고 밝히고 있다. 스위프트UI는 리얼리티키트나 UI키트와 연동해 선명하고 응답성이 높고 볼륨 있는 비전OS용 앱 UI 구축을 지원한다.
애플 3D 렌더링 엔진인 리얼리티키트를 이용하면 3D 콘텐츠, 애니메이션, 비주얼 이펙트를 애플리케이션으로 표현할 수 있게 된다. 리얼리티키트에 의해 조명 조건으로부터 자동 조정을 실시해 그림자를 만들고 다른 세계에서 포털을 열고 압도적인 시각 효과를 구축하는 등 다양한 일이 가능하게 된다고 한다. 또 리얼리티키트는 재질 내보내기에 머터리얼X(MaterialX)를 채용하고 있다.
다음은 AR키트(ARKit). AR키트는 기본적으로 공유 공간에 있는 앱을 위한 핵심 시스템 기능을 제공한다. 그리고 앱이 풀스페이스로 이동해 허가를 요구했을 때 평면 추정이나 장면 재구성, 이미지 좌표 고정, 주변 환경 추적, 손 추적 등 강력한 AR키트 API를 활용할 수 있게 된다. 이 때문에 벽에 물을 뿌리거나 바닥으로 공을 튀게 하는 등도 가능하게 된다고 한다.
비전 프로는 시선 추적이나 음성 인식 기능을 탑재하고 있어 눈이나 음성 혹은 양쪽 모두 기기를 조작할 수 있다. 또 외부 카메라에 의한 손 인식으로 사람 손가락이나 손목 등을 마우스 대신 사용할 수 있다. 이들은 아이폰이나 맥과 마찬가지로 접근성을 염두에 두고 설계되어 있는 것으로 비전OS용으로 접근성을 중시한 앱을 개발할 수 있어 비전 프로를 모든 사람에게 뛰어난 경험을 만들 수 있다고 애플은 밝히고 있다.
다음으로 리얼리티 컴포저(Reality Composer)는 아이폰과 아이패드에 대한 AR 경험을 구축하고 테스트, 튜닝, 시뮬레이션하는 도구다. 리얼리티 컴포저 프로는 리얼리티 컴포저를 기반으로 비전OS 앱용 3D 콘텐츠를 미리 볼 수 있도록 새롭게 설계됐다. 리얼리티 컴포저 프로는 X코드에서 사용할 수 있으며 X코드 빌드 프로세스와 통합되어 비전OS 에셋을 미리 보고 최적화할 수 있다. 또 3D 모델이나 사운드 등을 정리하는 데에도 도움이 된다고 한다.
또 게임 개발 플랫폼 유니티를 이용하는 것으로 지금까지 유니티에서 개발한 게임을 비전OS용으로 이식하거나 새로운 앱이나 게임을 비전OS용으로 유니티로 개발하는 게 가능하게 됐다. AR 체험은 물론 주변 환경을 그대로 표시하는 패스스루 기능이나 사용자 시선을 추적해 시야 중앙 부분만을 고해상도로 해주는 기능(Dynamically Foveated Rendering) 등도 게임에 응용할 수 있다. 리얼리티키트에서 앱 렌더링을 결합해 유니티에서 만든 콘텐츠는 비전OS에서도 문제없이 작동한다.
비전OS용 개발 키트인 비전OS 키트는 새로운 X코드나 비전OS 시뮬레이터, 리얼리티 컴포저 프로, 샘플 코드, 설계 지침과 함께 6워말 출시된다고 한다. 관련 내용은 이곳에서 확인할 수 있다.