정용환 기자
NeRF(Neural Radiance Fields)는 구글 연구팀이 개발한 것으로 이미지를 가공할 때 피사체 각도를 바꾸는 등 피사체를 다양한 각도에서 선명하게 볼 수 있는 3D 이미지를 사진에서 생성해주는 기술이다.
예를 들어 베를린 브란덴부르크문을 다양한 각도와 거리에서 촬영한 사진을 조합해 다양한 각도에서 확인할 수 있는 이미지 하나를 만들려고 한다. 보통 SNS 플리커 등에서 찾아낸 사진은 촬영 시간대가 다르거나 피사체 거리가 달라 합성이 어렵다. 또 피사체만 있는 게 아니라 주위에 사람이 들어가 있는 것도 많아 합성 작업에 장벽이 된다.
NeRF는 먼저 촬영 장소 뷰포인트와 사진 2장에서 해당 광경의 핵심 외관 사항을 입력한다. 이런 광경 속에서 변화하는 부분을 포함해 임시 포함을 입력한다. 이 2가지를 합성하고 재구성한 이미지에서 목표로 하는 이미지에 접근하는데 까지 걸리는 오류를 제거하도록 모델을 훈련시킨다.
연구팀에 따르면 이 모델은 특정 이미지가 있는 불확실한 요소가 재구성할 때 불필요한 곳까지 제거되어 버리는 일을 조정해야 한다. 이 특성에는 일시적 요소를 확인하고 무시하는 훈련도 도움이 됐다고 한다. 이런 학습을 통해 피사체를 다양한 뷰 포인트에서 볼 수 있는 이미지를 완성하는 것이다. 또 외관 포함 사항을 바꿔 같은 뷰 포인트에서 다른 상황 이미지를 만들어낼 수도 있다.
NeRF는 고품질로 깊이감을 추출해낼 수도 있다. 외관 포함을 바꾸면 아침점심저녁이나 흐림, 맑음 등 환경을 바꿀 수도 있다. 관련 내용은 이곳에서 확인할 수 있다.
이석원 기자
