화상통화 딥페이크 약점을 찾는 가장 쉬운 방법은?

AI나 기계학습 등 기술을 이용해 정교한 가짜 콘텐츠를 생성할 수 있는 딥페이크는 이 세상에 존재하지 않는 가상 인물 사진을 만들거나 누구나 영화 예고편에 등장할 수 있는 서비스 같은 유쾌한 활용도 가능하지만 구인 모집 영상이 등에 딥페이크를 이용한 사기가 이뤄진다며 미국 FBI가 경고하기도 한다. 이런 가운데 영상 통화 상대방이 딥페이크를 이용하고 있는지 구별하는 방법에는 어떤 게 있을까.

2022년 7월부터 8월까지 광고와 시장 신뢰성을 증진시키는 캐나다와 미국 비영리단체 베터비즈니스뷰로(Better Business Bureau)는 사기꾼이 딥페이크를 이용해 유명인이 제품을 추천하듯 보이거나 다이어트 상품이 극적인 결과를 내고 있다고 위조하는 등 소비자를 기만하고 있다며 경고한 바 있다. 이어 딥페이크 대책으로 화상이나 영상을 차분히 보는 것으로 화면이 흐릿한 걸 발견할 수 있다며 한 부분을 찾으라고 제시하고 있다.

한편 저장 화상이나 영상을 시청하는 것과 달리 실시간으로 영상을 전달하는 화상 통화에선 통신이나 카메라 정밀도에 따라 어느 정도 바삭바삭한 움직임이나 영상 흐림이 일어나기 쉬워지고 있다. 하지만 화상 통화에서 실시간 딥페이크가 극히 최근까지 주목받지 않았기 때문에 간과됐지만 딥페이크에는 치명적 약점이 있어 구별하기 쉽다고 한다. 지적하는 딥페이크 약점은 딥페이크가 옆모습을 만드는 것이 좋지 않다는 것. 따라서 화상 통화 상대가 딥페이크를 사용하고 있는 것 같은 가능성을 의심한다면 통화 상대방에게 옆으로 향해 달라고 요구하는 게 좋다고 한다.

실제로 실버스타 스탤론이나 라이언 레이놀즈 같은 유명 배우나 일론 머스크 등 앞모습을 보면 모두 설득력이 있지만 오른쪽으로 향한 옆모습 사진을 보면 얼굴 표면이 크게 무너지거나 눈가가 묘사되지 않거나 딥페이크가 생성한 얼굴에 문제가 있다는 걸 한눈에 알 수 있다.

딥페이크 옆모습이 크게 무너지는 원인으로는 옆을 향했을 때 윤곽이나 옆모습 정보가 충분히 학습되지 않은 점을 들 수 있다. 딥페이크 모델은 얼굴 앞쪽에 가까운 영역만 얻고 측두부에서 뼘에 대한 충분한 데이터를 얻지 못하기 때문에 딥페이크가 얼굴 형태를 발명하는 수준 상태로 되어 있다는 것이다.

딥페이크로 얼굴을 감지하는 소프트웨어는 얼굴 방향과 위치를 맞추는 알고리즘을 위해 랜드마크가 되는 포인트를 중심으로 감지한다. 이 때 2015년 논문에서 공개된 것처럼 눈썹이나 눈, 코, 입 같은 얼굴을 구성하는 주요 부분을 랜드마크로 하기 위해 정면에서 본 얼굴에 비해 옆모습 랜드마크 수가 50∼60%까지 감소해 버린다. 이 때문에 랜드마크로 검출하고 있지 않은 AI가 보충하는 지역이 옆모습에선 커지기 때문에 딥페이크에 의한 옆모습은 일관성이 낮아지는 문제가 있다.

한편 영상 데이터가 많은 할리우드 배우나 TV 탤런트는 데이터로 검출할 수 있는 옆모습이 상당히 많아지기 때문에 상당 수준으로 딥페이크로도 옆모습을 반영한 영상도 공개되고 있다. 예를 들어 한 인기 TV 탤런트 영상은 옆모습 윤곽과 표면이 무너지지 않지만 이를 위해 영상 66시간분을 이용 가능했기 때문에 실현된 것이다. 보통 이런 옆모습을 촬영할 기회는 그다지 많지 않기 때문에 딥페이크에 의한 스푸핑으로 옆모습을 재현하는 건 어렵다.

AI 보안 기업 측 관계자는 영상 회의 통화 중 딥페이크 대책으로 미리 옆모습을 신원 확인으로 제출받고 통화 중 확인하는 건 실제로 딥페이크에 대한 보호 대책이 될 수 있다며 또 단순히 최신 딥페이크 소프트웨어 대부분은 얼굴을 움직이거나 옆으로 향하면 묘사가 실패하는 것으로 생각한다며 옆을 향하도록 요구하라고 말한다. 한 전문가도 마찬가지로 옆모습은 현재 딥페이크 기술에서 큰 문제라며 딥페이크는 정면 얼굴에선 상당히 잘 작동하지만 측면 얼굴에는 제대로 작동하지 않으며 AI가 일종의 추측을 하는 형태가 된다고 지적했다.

물론 새로운 세대 3D 랜드마크 위치 시스템이 딥페이크 성능을 높일 가능성도 있다. 다만 이는 어디까지나 옆모습 데이터를 취득해 반영하기 쉬워진다. 영상 데이터 노출이 많은 유명인이 아니라면 보통 옆모습 데이터는 그다지 얻을 수 없는 만큼 딥페이크 문제를 해결하는 건 아니라는 얘기다.

다만 타이베이대학 연구팀이 공개한 논문에선 거의 옆모습을 볼 수 없는 정면 사진으로도 옆모습 데이터를 위화감 적은 형태로 생성한 샘플을 공개하기도 했다.

얼굴을 만지거나 얼굴 앞에서 손을 흔드는 움직임도 딥페이크 품질을 방해하지만 딥페이크 얼굴과 겹치는 부분 문제를 정교하게 해결할 기술은 발전하고 있으며 최신 상태에선 옆모습이 가장 개선 여지가 없는 대처법을 강조하고 있다. 물론 NeRF 같은 심층 학습이 성장하는 건 시간 문제이며 옆모습 방향으로 딥페이크를 해결하는 게 5년 뒤에도 유효한 테스트가 될지는 알 수 없다고 의문시한다. 맞다. 옆모습이 딥페이크를 찾아준다는 건 어디까지나 현재 상태에서 그렇다는 것이다.

딥페이크로 인한 스푸핑과 사기에서 가장 위협적인 점은 우리가 예기치 않은 것이라는 것이다. 관련 내용은 이곳에서 확인할 수 있다.