테크레시피

눈에 안 보이는 파장으로…딥페이크 영상 90% 잡아낸다

병원에서 손가락에 붙이는 펄스 옥시미터는 기기에서 손가락 피부 내 동맥혈 산소포화도와 맥박수를 측정한다. 측정을 통해 혈액이 피부를 통과할 때 비푸색이 미묘하게 변화하는 것을 읽는다. 애플워치를 비롯해 피트니스 기기에서도 채용하는 기술. 물론 피부색 변화는 눈으로 봐도 모른다.

혈액을 통한 피부색 변화는 손가락과 손목 뿐 아니라 얼굴에도 나타난다. 사람 눈에는 보이지 않아도 카메라를 이용하면 이를 감지할 수 있다. 예를 들어 신생아 모니터링 따위에 사용될 수 있다. 또 이 방식을 딥페이크 영상 간파에 응용하려는 시도를 빙엄턴대학 연구팀과 인텔이 함께 진행한 딥페이크 간파 도구 프로젝트 페이크캐처(FakeCatcher)를 개발하고 논문을 발표했다.

딥페이크 영상은 프레임마다 교체하는 사람 얼굴을 감쪽같이 합성시켜준다. 인물 사진 수천 장을 이용해 기존 영상에 맞게 얼굴을 바꾼 뒤 미묘하게 수정하기 때문에 진짜 영상처럼 탈바꿈시킨다. 물론 인간의 눈에는 보이지 않지만 수천 이미지를 통한 얼굴에도 생물학 반응, 혈액 순환이 찍혀 있다. 딥페이크 영상 제작자가 이것까지 계산하는 건 아니기 때문에 동영상 전체를 보면 파장이 이상하게 바뀌어 있다. 결국 이런 보이지 않는 파장을 체크하는 페이크체커를 이용하면 가짜 동영상을 간파할 수 있다는 것이다.

실험에선 페이크캐처의 딥페이크 영상 분별 정도는 90%에 이른다고 한다. 또 가짜 영상 제작 도구 4개(Face2Face, NeuralTex, DeepFakes, FaceSwap) 중 어느 걸 이용해 만들어졌는지 간파해 정확도 90%라는 높은 수치를 나타냈다. 관련 내용은 이곳에서 확인할 수 있다.