AI 기술을 이용해 가상 이미지나 영상을 합성하는 딥페이크는 사람 눈으로는 진위를 식별하기 어려운 단계까지 발전하고 존재하지 않는 인물 얼굴 사진을 쉽게 만들 수 있기 때문에 SNS 등에서도 큰 문제가 되고 있다. 이런 딥페이크 얼굴 사진을 눈동자에 비친 빛 반사로 간파하는 기술을 뉴욕주립대 버팔로 캠퍼스 연구팀이 개발했다.
실제 사람이 얼굴과 적대적 생성 네트워크 GAN에 의해 생성된 가상 인물 얼굴 사진을 언뜻 보면 모두 진짜 얼굴 사진으로밖에 보이지 않는다. 하지만 눈을 확대하면 각막에 반사된 빛 모양이 진짜가 좌우로 거의 똑같은 반면 딥페이크는 좌우가 뿔뿔이 흩어져 있다.
두 눈은 같은 걸 볼 수 있기 때문에 진짜 얼굴은 좌우 눈에 비쳐도 일치하는 게 보통이다. 하지만 많은 경우 GAN이 유사성을 정확하게 재현할 수 없다. 따라서 눈 위치를 맵핑하고 두 눈에 비친 빛을 분석해 얼굴 사진이 진짜인지 딥페이크를 정밀하게 식별할 수 있다고 설명하고 있다.
연구팀이 개발한 판별 도구로 분석하면 진짜 얼굴 사진에는 IoU 점수를 0.5824∼0.8406로 평가했지만 딥페이크로 합성된 얼굴 사진은 0.2429∼0.3512로 평가했다. 이 판별 방법은 한쪽 눈 밖에 사진에 찍힐 경우에는 작동하지 않을 뿐 아니라 피사체가 카메라를 보고 있지 않으면 정확도가 크게 떨어진다는 단점도 안고 있다. 또 수동으로 눈동자 빛을 수정해 결정을 어렵게 만들 수도 있다.
연구팀은 현 단계에선 정교한 딥페이크는 어렵지만 많은 어설픈 딥페이크 사진은 알 수 있다고 설명하고 있다. 앞으로 이 방법 효과를 더 높이는 연구를 할 계획이라고 밝혔다. 관련 내용은 이곳에서 확인할 수 있다.