상당수 3D 게임에선 게이머가 자신의 손으로 시점을 움직여 게임 내 세계를 넓게 탐색할 수 있다. 하지만 당연히 게임 플레이나 실황 영상을 보는 사람에게는 보이는 세계는 실황자가 보여주는 시점에만 한정된다. 이런 당연할지 모를 문제를 해소할 수도 있는 동영상 시청자가 게임 세계를 자유롭게 바라보는 기능이 개발됐다.
개발팀은 게임 타이탄폴2로 이 기술을 재현했다. 시청자가 볼 수 있는 화면 종류는 모두 3가지. 하나는 일반 화면으로 게임에서 놀거나 동영상을 볼 때 항상 볼 수 있는 화면이다. 둘째는 게임 화면을 3D 공간에 투영한 것으로 개발팀은 이를 볼루메트릭(Volumetric)이라고 부른다. 볼루메트릭은 현실 공간이나 인간 동작 등을 3D 디지털 데이터로 변환하는 볼륨 메트릭 비디오 기술을 말한다.
마지막은 시청자가 완전히 게이머 관점을 떠나 자유롭게 게임 내 세계를 바라볼 수 있는 월드(World)다. 그 자리에서 360도 바라볼 수 있는 게 아니라 오브젝트 등 배치된 3D 공간을 자유롭게 날아다니고 모든 시점에서 캐릭터가 있는 세계를 바라볼 수 있다.
워털루대학 연구팀이 개발한 이 기술은 게임에서 GPU로 전달받은 데이터를 취득해 영상 데이터로 변환하는 배포자 측 애플리케이션과 배포를 통해 받은 영상 데이터에서 3D 공간을 구축하는 시청자 측 애플리케이션 2가지로 이뤄져 있다. 더구나 영상 데이터와는 다른 데이터를 이용하는 것으로 전달자와 시청자 상호 작용이 가능하다. 예를 들어 배신자가 보고 있는 화면에 시청자가 마커를 두는 식이 가능하게 되는 식이다.
가상현실 헤드셋을 장착하면 게임에 서있는 것처럼 몰입감을 얻을 수 있지만 어쨌든 배달자가 본 세계 밖에 재현할 수 없기 때문에 배달자가 화면에 비추지 않는 장소는 아무 것도 없는 새하얀 세계가 되어 버린다. 또 오브젝트 품질이나 화면 속 깜박이는 그림자 등 문제가 있다고 한다. 연구팀은 품질 개선을 위해 작업을 계속하고 있다고 한다. 관련 내용은 이곳에서 확인할 수 있다.