증강현실 만나면…축구 경기를 테이블 위에서?

러시아월드컵이 개막하면서 전 세계에서 축구 열풍이 다시 불고 있다. 개최국이 아니라면 대부분은 TV 화면 그러니까 2D로 각국이 벌이는 경기를 볼 수밖에 없다. 그런데 만일 증강현실 기술을 활용해서 축구 경기를 책상 위에서 입체로 볼 수 있다면 어떨까.

이 같은 기술을 발표한 건 미국 워싱턴대학교 콘스탄티노스 레마타스(Konstantinos Rematas). 그는 축구 경기에 증강현실을 기술을 접목해 테이블 위에서 렌더링할 수 있는 기술 사커온유어테이블탑(Soccer on your Tabletop. http://grail.cs.washington.edu/projects/soccer/)을 발표했다. 이 시스템은 축구 경기 장면에서 추출한 3D 선수 데이터를 CNN(Convolutional Neural Network)을 이용해 3D 공간에 재배치, 2차원 경기 영상을 입체로 변환하고 여러 방향에서 자유롭게 축구 경기를 관전할 수 있도록 했다.

마이크로소프트의 복합현실 헤드셋인 홀로렌즈를 쓴 상태에서 테이블 위를 보면 눈앞에 축구 경기가 펼쳐진다. 사용자는 360도 모든 각도에서 자유롭게 경기를 볼 수 있다. 경기 영상 자체는 사실 유튜브에 공개되어 있던 것이다. 앞서 밝혔듯 CNN과 게임 데이터 등을 활용해 3D CG로 재구성한 것이다. 이 기술은 축구장 안에 그러진 선을 인식하고 이를 통해 카메라를 보정한다. 선에 늘어선 선수를 감지한 다음 선수 움직임을 추적해 선수와 선을 구분한다. 선수의 움직임을 추적하면서 여러 움직임을 추정해 좌우 다리 중 어느 쪽이 앞에 나와 있는지 여부 등을 알 수 있게 된다. 여기에 축구 경기 내 선수 데이터를 이용해 경기 자체를 재구성한다. 이런 과정을 거쳐 영상을 변환하는 것.

물론 이 기술은 아직 개발 단계인 탓에 선수 움직임이 정확한 건 아니며 해상도 역시 완벽한 수준은 아니다. 하지만 모든 방향, 각도에서 영상을 볼 수 있는 입체 영상을 재구성할 수 있다는 건 관심을 가지기에 충분한 미래 시청의 방식이 될 수 있다. 이 기술에 대한 소스코드는 깃허브에 공개되어 있다.

이 기술 역시 마이크로소프트의 홀로렌즈를 이용했지만 사실 마이크로소프트는 지난 2016년 홀로렌즈를 이용해 미래 스포츠 관전 형태를 그린 컨셉트 영상을 공개하면서 이 같은 모습을 상상한 바 있다. 홀로렌즈를 낀 상태에서 집에서 NFL 경기 장면을 입체로 보는 장면을 연출한 것이다.

홀로렌즈를 끼면 TV 화면에서 벗어나 벽이나 방안 전체를 화면으로 활용해 마치 경기장에 있는 것 같은 몰입감을 느낄 수 있다. 관점을 상하좌우로 움직이면 몸 움직임에 따라 벽에 비치는 영상도 이동하는 만큼 360도 어떤 방향에서도 관전할 수 있다. 앞서 소개한 기술처럼 테이블 위를 활용해 경기장 정보를 표시해주기도 한다. 이를 통해 선수 개개인에 대한 정보를 볼 수 있다. 경기 정보는 실시간 반영되기 때문에 스마트폰 같은 기기를 이용할 필요 없이 경기에만 집중할 수 있다.

아직까지 이 같은 기술은 개발 상태지만 컨셉트 영상에서 이젠 현실화를 향한 개발 단계에 들어섰다는 점에서 시선을 끌기에 충분하다.