나이언틱(Niantic)은 증강현실 게임인 포켓몬 고(Pokémon GO)로 잘 알려져 있다. 최근 나이언틱이 인수한 매트릭스 밀(Matrix Mill)은 카메라 여러 대로 주위 물체 관련 정보를 수집하고 모양을 추정할 수 있는 신경망 구축을 진행해왔다.
이렇게 개발해온 기술은 실제 개체와 디지털 객체의 상호 작용을 크게 바꿔줄 가능성을 갖고 있다. 나이언틱이 매트릭스 밀의 기술을 바탕으로 지금까지 나왔던 증강현실보다 훨씬 사실적이면서 현실과 디지털이 상호 작용할 수 있는 증강현실 기술인 나이언틱 오클루션(Niantic Occlusion)을 개발, 데모를 공개해 눈길을 끈다.
그렇다면 새로운 기술이 기존과 어떤 차이가 있다는 걸까. 기존 증강현실이라고 하면 실제 영상 위에 CG 개체로 피카추를 표시할 뿐이다. CG 개체를 그냥 얹어놓기만 한 것인 탓에 현실 공간에 존재하는 물체는 전혀 무시한다. 예를 들어 장애물이 있어도 피카추는 이를 무시한 채 그냥 가로질러 가버리는 것. 이렇게 CG 객체와 실제 객체가 상호 작용을 할 수 없다는 건 기존 증강현실 기술의 제약 가운데 하나다.
그런데 나이언틱 오클루션은 이런 문제를 해결하고 있다. 피카추가 달리는 장면을 보면 장애물이나 사람이 있으면 앞뒤로 실제 장애물을 인식한 것처럼 피해서 지나간다. 신경망을 통해 현실에 존재하는 객체 모양을 인식하고 마치 피카추가 현실 세계에 있는 것처럼 볼 수 있도록 한 것이다.
나이언틱 오클루션은 현실 세계에 있는 객체를 이해하고 디지털 객체가 마치 현실에 있는 것처럼 상호 작용하는 걸 목표로 나이언틱이 개발 중인 나이언틱 리얼 월드 플랫폼(Niantic Real World Platform)이다.
나이언틱이 개발 중인 컴퓨터비전이 현실 속 객체를 세밀하게 인식한 모습을 보면 정량 가능한 신뢰도 지수를 바탕으로 객체가 뭔지를 인지한다. 컴퓨터비전 알고리즘을 통해 테이블과 의자 같은 객체를 학습, 인식한 어휘가 늘어날수록 다양한 물체를 인식할 수 있게 된다.
컴퓨터비전을 통해 현실 속 객체를 제대로 이해할 수 있게 되면 나이언틱 오클루션 같은 실제 객체와 상호 작용을 하는 것 뿐 아니라 진짜 꽃을 찾으면 디지털로 구현한 CG 벌이 가게 하거나 실제 호수를 발견하면 CG 오리를 표시할 수도 있다. 증강현실의 가능성을 무한 확장할 수 있게 되는 것이다.
나이언틱은 이 기술 외에도 나이언틱 리얼 월드 플랫폼 구축을 위한 새로운 기술을 더 개발하고 있다. 멀티 플레이어 게임에서 지연시간을 줄이는 증강현실 네트워크 기술도 이 중 하나다. 이 기술을 이용하면 여러 명이 증강현실로 멀티 게임을 즐길 때에도 원활하게 진행할 수 있게 된다.
증강현실 기술 접목은 꾸준히 확대되고 있다. 지난 5월 구글이 연 개발자 행사인 구글 I/O 2018 기간 중에는 구글맵에 증강현실 내비게이션 기능 접목을 발표하기도 했다. 물론 구글은 당시 구글맵에 이 같은 증강현실 탐색 기능이 언제쯤 구현하게 될지 여부는 밝히지 않았다.
어쨌든 증강현실 탐색 기능을 이용하면 스마트폰 카메라로 거리를 비추면 화면에 진행 방향이 표시된다. 지도에 나온 점선에만 의존해야 하는 기존 내비게이션과는 달리 언제 어디서 어떤 방향으로 가야할지 한눈에 알 수 있게 된다.
증강현실 탐색 기능을 이용하면 도로에는 건물 정보가 표시되는 건 물론 사용자를 목적지까지 안내해주는 도우미도 등장한다. 구글 측은 이 기능이 GPS만으로도 제대로 작동할 수 없다고 말한다. 사용자의 스마트폰 카메라를 통해 확보한 영상을 통해 정확하게 단말 위치와 방향을 추정하기 위한 시스템인 VPS(visual positioning system)도 함께 이용한다고 한다.
뉴욕타임스 역시 지난 2월 새로운 디지털 콘텐츠 도입을 위해 뉴스 서비스에 증강현실을 접목하겠다고 밝히기도 했다. 증강현실을 접목한 뉴스 서비스가 스토리텔링의 미래가 될 것이라고 밝힌 것이다.
증강현실은 말 그대로 디지털 세계를 현실 공간으로 확장시키는 것이다. 태생 자체가 모바일 친화적일 수밖에 없다. 이런 점에서 100% CG로 이뤄진 가상현실보다 10배 이상 큰 시장이 될 것으로 전망되고 있다. 또 가상현실이 게임이나 영화 등 주로 엔터테인먼트에 초점을 맞추고 있다면 증강현실은 게임은 물론이고 교육이나 생활 전반에 확대될 것으로 볼 수 있다. 나이언틱의 활용 예는 물론이고 구글맵처럼 현실 속에 증강현실 기술이 접목되는 사례는 앞으로도 계속 늘어날 것으로 보인다.