노이즈 제거란 화질 열화를 억제하면서 이미지 입상감이나 변색을 저감시키는 기술이다. 반도체 제조사인 엔비디아가 CG에서의 노이즈 제거에 대해 설명해 눈길을 끈다.
엔비디아에 따르면 사진 뿐 아니라 CG에서도 노이즈가 발생할 수 있다. CG 노이즈는 밝기와 색상 변동으로 이미지에서 노이지를 제거하는 걸 화상 처리나 컴퓨터 비전 분야에선 노이즈 제거라고 부른다.
CG 노이즈는 선명도를 저하시키기 때문에 제거하는 게 이상적이라고 한다. 또 이미지를 노이즈 제거할 때 가장자리, 모서리, 텍스처, 기타 선명한 구조와 같은 시각적 세부 사항과 구성 요소를 유지하는 게 중요하다.
위화감을 내지 않고 노이즈를 줄이려면 이미지 3종류 신호를 노이즈 제거 대상으로 할 필요가 있다고 한다. 확산이라고 불리는 모든 방향으로 반사하는 산란광, 반사라고 불리는 거울 같이 특정 방향으로 반사하는 빛, 무한 광원과 그림자로 불리는 태양광이나 그림자, 기타 가시광선이다.
실시간 레이트레이싱에선 비교적 적은 공정으로 노이즈 제거를 할 수 있다고 한다. 노이즈 제거 메커니즘은 공간 필터링, 시간 축적, 기계학습과 딥러닝을 통한 재구성 3가지 기술을 기반으로 한다. 공간 필터링을 이용하면 인접한 유사 픽셀을 재사용해 이미지 일부를 바꿀 수 있다. 반면 공간 필터링은 흐릿함, 흐림, 이미지 깜박임, 시각적 결함 등 불안정성을 유발한다.
시간적 축적에선 이전 프레임 데이터를 재사용해 현재 프레임에 보정 가능한 이상이 있는지 여부를 확인할 수 있다. 따라서 여러 프레임에 걸쳐 깜박임과 이상을 줄이는 안정성이 생긴다.
기계학습과 딥러닝을 통한 재구성에선 다양한 잡음 신호를 사용해 학습된 신경망을 써서 신호를 재구성할 수 있다. 엔비디아 실시간 디노이저 NRD 같은 시스템은 개발자가 노이즈 제거 기술을 사용하기 쉽게 해준다. NRD는 확산 신호나 거울 반사 신호, 그림자 반사 신호 노이즈 제거를 지원해 ReBLUR, SIGMA, ReLAX 등 노이즈 제거 툴을 탑재하고 있다. 관련 내용은 이곳에서 확인할 수 있다.