스케치에서 현실적 얼굴 사진 만들어주는 AI?

AI가 발달하면서 존재하지 않는 가상 인물을 사진으로 생생하게 만들어내는 게 용이해지고 있다. 중국 연구팀이 거친 손으로 그린 스케치를 실시간으로 특징을 잘 포착한 얼굴 사진으로 변환하는 기술 딥페이스드로잉(DeepFaceDrawing)을 개발했다. 손으로 그린 스케치가 순식간에 현실감 있는 얼굴로 변해가는 건 상당히 놀랍다.

딥페이스드로잉 관련 영상을 보면 좌우에 캔버스 2개가 나온다. 왼쪽 캔버스에 여러 개 선으로 그려진 사람 형상이 보인다. 여기에 윤곽을 덧씌우면 캔버스 속 여성 사진이 변화한다. 두꺼운 입술을 그리면 그대로 왼쪽 캔버스에 선을 그을 때마다 사진 육곽도 점차 선명해지는 것. 일러스트에 대한 대략적인 인물상이 결정되면 화면 오른쪽 상단 슬라이드를 움직여가며 눈코입 요소를 조정한다. 당연히 여성 뿐 아니라 남성도 가능하다.

원래 일러스트는 다양한 화풍으로 그려졌지만 완성된 사진은 모두 원래 일러스트 특징을 그대로 재현하고 있다. 딥페이스드로잉은 중국 과학원과 홍콩 성시대학 연구팀이 개발한 것이다. 딥러닝으로 그린 그림을 사진으로 변환하는 기술은 입력한 일러스트가 고정된 것으로 간주한다. 하지만 이번 새로운 접근은 학습에 의해 그린 스케치에서 그럴싸한 얼굴 배치를 배우며 입력한 스케치에서 대략적인 위치를 찾는다. 이 경우 입력 정보로 그린 스케치는 고정형보다 훨씬 더 유연하다. 이 방법은 부정확하거나 러프하게 그린 스케치에서도 현실감 있는 얼굴을 만들어낼 수 있다.

이 시스템은 내장 모듈과 특성화 맵핑, 사진 합성 3가지 모듈로 이뤄져 있다. 내장 모듈에는 자동 인코딩 아키텍처와 학습할 5가지 특징을 갖고 있다. 양쪽 눈 외에 코와 입, 스케치 알림으로 나뉘어져 있어 5개 슬라이더로 조정이 가능하다.

연구팀에 따르면 평가를 한 결과 높은 시각 효과를 보여줬다고 한다. 실제로 연구팀 이외에도 시스템을 사용해본 결과 유용성과 표현력으로 바람직한 결과를 얻을 수 있었다는 설명이다. 관련 내용은 이곳에서 확인할 수 있다.