이미지나 영상에서 입체 이미지를 만들어낼 수 있는 NeRF(Neural Radiance Fields)나 MERF(Memory-Efficient Radiance Fields) 등에 이어 구글 개발팀이 SMERF(Streamble Memory Efficient Radiance Fields)라는 기술을 발표했다.
SMERF를 개발한 건 구글 딥마인드 연구팀. 스트리밍 가능하고 메모리 효율이 좋은 필드를 뜻하는 것으로 기존 MERF가 PNG 이미지에 특정 벡터를 표현했다면 이를 바이너리 배열로 대체하고 있다.
NeRF는 대규모 경계가 없는 3D 풍경에서 거의 실물이라고 할 수 있는 사실적 이미지를 출력할 수 있다. 하지만 정밀도를 높인 Zip-NeRF 등은 실시간 렌더링에는 계산량이 너무 많다는 단점을 안고 있다. SMERF는 Zip-NeRF와 거의 차이가 없는 불과 수cm 단위 디테일까지 렌더링하면서 계산량이나 메모리 요구는 기존 리얼타임 렌더링 기술 MERF와 동등한 특징을 갖고 있다.
그 결과 SMERF는 웹브라우저를 통해 일반 노트북이나 스마트폰에서도 초당 60프레임으로 렌더링할 수 있다. 이는 카메라 위치에 따라 풍경 묘사를 적절한 위치에서 스트리밍해 실현된다. SMERF 실현에는 몇 가지 포인트가 있다. 첫 번째는 작고 경계가 없는 3D 풍경 실시간 표현. MERF르 기반으로 시각적 재현성과 기하학적 재구성 품질을 크게 개선했다.
2번째는 휘도장에 대한 새로운 추출 학습 방법. 포즈를 취한 사진에서 훈련하는 게 아니라 충실도가 높은 교사를 통해 기하학적, 측광학적 정보를 천천히 추출했다. 다른(3D Gaussian Splatting) 실시간 시점 합성 기술 품질을 능가하는 건 이 방법 덕이다.
이런 아티팩트는 묘사 장면 크기에 따라 표현 크기가 달라지므로 철저하게 캡처하는데 시간이 걸릴 수 있지만 SMERF의 경우 카메라 위치에 따라 풍경을 여러 영역으로 나눈다. 이렇게 하면 렌더링 시간 문제를 피할 수 있다. 영역마다 공통 교사가 감독한 하위 모델이 할당된다. 언제든 대상뷰를 묘사하기 위해 단일 서브 모델로 충분해 시각적 충실도를 낮추지 않고도 계산 능력과 메모리 요구 사항을 낮출 수 있다.
3D 가우시안 스플래팅(3D Gaussian Splatting)에 비해 SMERF는 경면이나 반사 등을 더 잘 표현하는 게 가능하며 3.5mm 사방이라는 공간 분해로 300m 사방까지 풍경을 확실히 재구성할 수 있다고 한다. 또 3D 가우시안 스플래팅과 달리 자연 렌즈 모델과 호환되어 어안 렌즈로 전환할 수 있다.
가장 중요한 요점으로는 SMERF가 PC와 스마트폰에서 쉽게 사용할 수 있다는 점을 꼽는다. 풍경 내 사용자 위치에 따라 최적 서브 모델 파라미터를 스트리밍해 필요한 메모리 사용량을 억제하고 있다는 것. 관련 내용은 이곳에서 확인할 수 있다.