영상 속 물체를 실시간 CG로 바꿔주는 기술?

트랜스포머MR(TransforMR)은 카메라로 촬영한 영상에서 자동차와 사람 등 물체를 감지해 제거하고 실시간으로 CG 모델로 대체해주는 AI 시스템이다.

이 기술은 뒤스부르크에센대학과 취리히공대, 자동차 제조사인 포르쉐 AI팀이 공동 발표한 것으로 눈에 보이는 물건을 그 자리에서 바로 편집할 수 있어 증강현실 기술 응용이 기대된다.

트랜스포머MR은 카메라로 촬영하는 영상에서 실시간으로 대상을 제거하고 미리 준비한 CG 모델로 대체해주는 기술. 대상을 인식하고 대상 움직임을 쫓는 2가지 처리를 실시간으로 동시 실시한다. 대상을 인식하고 잘라낸 장소를 배경에 맞게 보전하면서 대상 움직임에 링크한 CG 모델을 겹쳐서 표시해주는 구조다.

처리한 영상이 표시되는 건 PC나 스마트폰 등 사용자 클라이언트지만 트랜스포머MR 주요 처리는 백엔드 서버에서 이뤄지고 있다. 데이터를 클라우드로 전송하기 위해 트랜스포머MR 실행에는 4G망 이상이 필요하다고 한다.

대체 CG 모델은 유티티에서 로딩된다. 예를 들어 아이패드에서 자동차가 달리는 모습을 촬영한다. 눈앞에 차가 달리고 있지만 아이패드에선 차가 SF 같은 차량으로 대체된다. 앞을 걷는 여성과 안쪽에서 달리는 자동차가 각각 로봇과 SF 차량 같은 형태로 바뀌기도 한다. 사람을 곰으로 대체하는 것도 가능하다. 실시간 처리를 하기 때문에 그 자리에서 CG 모델을 바꿀 수도 있다.

포르쉐 AI 연구자인 모하메드 칼리는 트랜스포머MR에서 중요한 점 가운데 하나로 포즈 검출이 가능하다는 점을 든다. 포즈 감지를 할 수 있다는 건 예를 들어 사람을 발견하면 온몸 관절을 식별하고 CG 모델 움직임을 대상 모델에 대입할 수 있다는 것이다. 이 시스템을 이용하면 야외와 특수 시설이 없는 장소에서 연기자 움직임을 가상 캐릭터 CG 모델로 대체해 생방송을 진행할 수도 있다.

다만 지금은 큰 해상도에서 트랜스포머MR을 실행하려면 많은 계산을 필요로 하기 때문에 기술적 한계가 있다. 데모는 512×512 픽셀이라는 작은 영상이어서 트래픽을 무시할 수 있다. 영상 프레임 속도는 15fps 정도로 지연은 50∼100밀리초 발생하고 대체 CG 모델도 최상 품질은 아니다. 아직은 개발 단계인 것이다.

포르쉐가 이 기술 개발에 참여하는 이유는 승객과 운전자 경험 향상을 위한 것이다. 미래에는 교통 체증에 휘말린 사람을 즐겁게 하기 위해 트랜스포머MR을 적용할 수 있다는 설명이다. 포르쉐는 그 밖에도 차로 달리고 있을 때 주위 풍경 변화를 감지하고 적절한 음악을 들려주는 사운드라이드(SoundRide)라는 시스템도 개발하고 있다. 관련 내용은 이곳에서 확인할 수 있다.