테크레시피

증강현실 만나면…축구 경기를 테이블 위에서?

Soccer On Your Tabletop3.jpg

러시아월드컵이 개막하면서 전 세계에서 축구 열풍이 다시 불고 있다. 개최국이 아니라면 대부분은 TV 화면 그러니까 2D로 각국이 벌이는 경기를 볼 수밖에 없다. 그런데 만일 증강현실 기술을 활용해서 축구 경기를 책상 위에서 입체로 볼 수 있다면 어떨까.

이 같은 기술을 발표한 건 미국 워싱턴대학교 콘스탄티노스 레마타스(Konstantinos Rematas). 그는 축구 경기에 증강현실을 기술을 접목해 테이블 위에서 렌더링할 수 있는 기술 사커온유어테이블탑(Soccer on your Tabletop. http://grail.cs.washington.edu/projects/soccer/)을 발표했다. 이 시스템은 축구 경기 장면에서 추출한 3D 선수 데이터를 CNN(Convolutional Neural Network)을 이용해 3D 공간에 재배치, 2차원 경기 영상을 입체로 변환하고 여러 방향에서 자유롭게 축구 경기를 관전할 수 있도록 했다.

마이크로소프트의 복합현실 헤드셋인 홀로렌즈를 쓴 상태에서 테이블 위를 보면 눈앞에 축구 경기가 펼쳐진다. 사용자는 360도 모든 각도에서 자유롭게 경기를 볼 수 있다. 경기 영상 자체는 사실 유튜브에 공개되어 있던 것이다. 앞서 밝혔듯 CNN과 게임 데이터 등을 활용해 3D CG로 재구성한 것이다. 이 기술은 축구장 안에 그러진 선을 인식하고 이를 통해 카메라를 보정한다. 선에 늘어선 선수를 감지한 다음 선수 움직임을 추적해 선수와 선을 구분한다. 선수의 움직임을 추적하면서 여러 움직임을 추정해 좌우 다리 중 어느 쪽이 앞에 나와 있는지 여부 등을 알 수 있게 된다. 여기에 축구 경기 내 선수 데이터를 이용해 경기 자체를 재구성한다. 이런 과정을 거쳐 영상을 변환하는 것.

Soccer On Your Tabletop1.jpg

물론 이 기술은 아직 개발 단계인 탓에 선수 움직임이 정확한 건 아니며 해상도 역시 완벽한 수준은 아니다. 하지만 모든 방향, 각도에서 영상을 볼 수 있는 입체 영상을 재구성할 수 있다는 건 관심을 가지기에 충분한 미래 시청의 방식이 될 수 있다. 이 기술에 대한 소스코드는 깃허브에 공개되어 있다.

이 기술 역시 마이크로소프트의 홀로렌즈를 이용했지만 사실 마이크로소프트는 지난 2016년 홀로렌즈를 이용해 미래 스포츠 관전 형태를 그린 컨셉트 영상을 공개하면서 이 같은 모습을 상상한 바 있다. 홀로렌즈를 낀 상태에서 집에서 NFL 경기 장면을 입체로 보는 장면을 연출한 것이다.

홀로렌즈를 끼면 TV 화면에서 벗어나 벽이나 방안 전체를 화면으로 활용해 마치 경기장에 있는 것 같은 몰입감을 느낄 수 있다. 관점을 상하좌우로 움직이면 몸 움직임에 따라 벽에 비치는 영상도 이동하는 만큼 360도 어떤 방향에서도 관전할 수 있다. 앞서 소개한 기술처럼 테이블 위를 활용해 경기장 정보를 표시해주기도 한다. 이를 통해 선수 개개인에 대한 정보를 볼 수 있다. 경기 정보는 실시간 반영되기 때문에 스마트폰 같은 기기를 이용할 필요 없이 경기에만 집중할 수 있다.

microsoft.jpg

아직까지 이 같은 기술은 개발 상태지만 컨셉트 영상에서 이젠 현실화를 향한 개발 단계에 들어섰다는 점에서 시선을 끌기에 충분하다.

lswcap

월간 아하PC, HowPC 잡지시대를 거쳐 지디넷, 전자신문인터넷 부장, 컨슈머저널 이버즈 편집장, 테크홀릭 발행인, 벤처스퀘어 편집장 등 온라인 IT 매체에서 '기술시대'를 지켜봐 왔다. 여전히 활력 넘치게 변화하는 이 시장이 궁금하다.

뉴스레터 구독