사진 속 모자이크 제거해주는 AI?

Pulse(Photo Upsampling via Latent Space Exploration)는 미국 듀크대학 연구팀이 개발한 사진 속 모자이크를 완전히 제거해주는 AI 도구다. 모자이크 처리 속에 숨겨진 얼굴을 거의 완벽하게 복원할 수 있게 해주는 것.

물론 궁극적인 이미지 처리 도구가 있다면 하나는 디테일과 선명도를 잃지 않고 인공적인 느낌도 안 내면서 디지털 이미지 해상도를 높일 수 있어야 할 것이다. 이미지 해상도를 높이기 위한 일반적인 접근 방식은 저해상도 이미지에서 표현할 수 없는 디테일과 픽셀 베리에이션을 예측 보강하고 고해상도 버전을 인공 생성해나간다. 하지만 저해상도 이미지는 상당한 디테일이 누락되는 경우가 많아 해상도를 높이면 작업 결과물에는 밋밋한 외관이 나타나는 경향이 있다.

Pulse는 이런 단점을 해소하기 위해 개발한 도구다. 물론 이 기술은 품질 낮은 이미지 해상도를 올리고 진실에 가깝게 처리해주는 도구는 아니다. 데이터에서 특징을 학습하고 존재하지 않는 데이터를 생성하는 적대적 네트워크를 바탕으로 한 AI를 이용해 진짜 같은 얼굴을 무작위로 생성하는 것이다.

AI가 원본 이미지를 바탕으로 생성한 고해상도 이미지 중 저해상도화했을 때 원래에 가장 가까운 이미지를 찾아준다. 조금씩 조정해가며 원본 이미지에 근접하게 해주는 것이다. 결과적으로 저해상도끼리 비교하면 원본 같은 이미지가 완성된다. 물론 Pulse가 생성한 이미지는 아직 완전하지 않다. 원본 고해상도 버전과 Pulse가 생성한 고해상도 이미지를 비교하면 분명한 차이가 있다. 따라서 현재 이 도구 이용은 제한적이다. 하지만 도구를 더 개선하면 지금은 아직 희미하게 보이는 우주의 비밀을 해명하거나 원자 같은 작은 세계도 해명하게 될지 모른다. 다양한 분야 응용이 기대되는 것이다. 관련 내용은 이곳에서 확인할 수 있다.