페이스북과 인스타그램, 틱톡에선 성적 콘텐츠를 엄격하게 제한하고 위반자에게는 계정 정지 등 조치가 취해지고 있다. 하지만 AI를 이용해 생성된 성적 이미지를 사용하는 광고가 이런 플랫폼에서 급증하고 있다는 지적이다.
2023년 이후 수십 개 기업이 페이스북, 인스타그램, 틱톡에서 사용자 취향을 학습하고 대화할 수 있는 AI 여자 친구 앱 광고를 게재하고 있다. AI 여자 친구는 NSFW 사진과 검열 없는 채팅을 판매하고 있으며 AI 여자 친구 광고에는 AI로 생성된 여성 이미지가 첨부됐다.
보도에 따르면 메타 측은 자사 정책에서 AI가 생성했는지 여부에 관계없이 과도한 성적 콘텐츠가 포함된 광고는 금지된다며 페이스북과 인스타그램에선 앱 개발자 35명이 AI 여자 친구 광고를 1,000회 이상 게재하고 있었다는 것. 또 성인용 제품 또는 서비스 사용 홍보 광고를 정책에서 명확하게 금지해야 하는 틱톡은 개발자 14명이 수백 건 광고를 게재했다고 보고했다.
메타는 자사는 항상 AI로 생성된 콘텐츠 추세를 적극 모니터링하고 있다고 밝혔지만 비판도 나오고 있다. 한 전문가는 성적 근로자는 자신의 이미지를 광고에 게재해 돈을 벌 수 없다는 사실에도 불구하고 이미지 생성 AI를 이용한 성인 콘텐츠로 돈을 번 이들도 있는 것 같다고 지적하고 있다.
또 성인용품 제조사 관계자도 자사는 종종 메타와 광고 문제에도 불구하고 AI 여자 친구 같은 광고가 어떤 형태로 콘텐츠 모델링을 회피하고 있는 것에 혼란스러워하고 있다고 밝혔다. 또 메타와 기타 기업은 이런 AI가 생성한 콘텐츠가 포함된 광고가 통과된 이유에 대한 근본적인 문제를 해결하지 못하고 있다고 지적한다. 페이스북이나 인스타그램 등 플랫폼이 일관성이 없는 콘텐츠 모더레이션 시행이나 성인 상품 제조사라는 편견만으로 모더레이션을 실시하고 있을 가능성을 위험시하고 있다. 관련 내용은 이곳에서 확인할 수 있다.