최근 생성 AI 기술 발전으로 AI를 사용한 성적 이미지인 딥페이크 성인물 생성이 쉬워짐에 따라 전 세계적으로 딥페이크 성인물로 인한 괴롭힘이 사회 문제화되고 있다. 이에 샌프란시스코 시 검찰청이 딥페이크 성인물을 생성할 수 있는 인기 웹사이트 16곳에 대해 폐쇄와 손해배상 지불을 요구하는 소송을 제기했다.
샌프란시스코 시 검찰청은 2024년 상반기에만 2억 회 접속이 있었던 16개 웹사이트가 사용자가 여성 이미지를 누드화할 수 있도록 하는 오픈소스 이미지 생성 모델을 악용하고 있다고 주장했다. 또 AI가 생성한 딥페이크 성인물 피해자는 심각한 심리적, 경제적 피해를 받을 뿐 아니라 인터넷상에 이미지가 확산되어 악평을 받을 가능성이 있다고 언급했다.
더불어 이들 사이트에서는 이미지를 생성하기 위해 사용자에게 구독료 지불을 요구하고 있지만 일부 사이트에서는 무료 체험을 실시하고 있다고 한다. 이로 인해 연간 수백만 장에 이르는 딥페이크 성인물이 생성되며 그 대부분이 여성을 대상으로 하고 있다는 점이 지적되고 있다.
검사는 딥페이크 성인물은 혁신이 아니라 성적 학대임을 분명히 해야 한다며 이 문제는 가능한 한 빨리 해결해야 할 중대한 문제라고 말했다. 샌프란시스코 시 검찰청은 이들 사이트 운영자 50명에 대해 피해자 동의 없이 딥페이크 성인물을 생성함으로써 리벤지 포르노 금지 등 주법 및 연방법을 위반했다며 웹사이트 폐쇄와 손해배상 지불을 요구하고 있다.
검사는 현 시점에서 이들 웹사이트가 어떤 이미지 생성 AI를 사용하고 있는지 명확히 판단하기는 어렵지만 스태빌리티 AI 오픈소스 이미지 생성 AI인 스테이블 디퓨전(Stable Diffusion) 초기 버전은 딥페이크 성인물 등에 악용되는 경향이 있다고 말했다. 검사는 우리 모두는 AI를 사용해 아동을 포함한 실존하는 사람들을 착취하고 학대하는 악질적인 이들을 단속하기 위해 각자 역할을 수행할 의무가 있다고 덧붙였다. 관련 내용은 이곳에서 확인할 수 있다.