테일러 스위프트 딥페이크, 마이크로소프트 디자이너로 생성?

AI를 사용해 만든 테일러 스위프트 가짜 성인물 이미지가 인터넷에서 확산되어 문제가 되고 있다. 이 가짜 성인물 이미지 생성에 마이크로소프트가 무료로 제공하는 마이크로소프트 디자이너(Microsoft Designer)가 이용되고 있는 것으로 밝혀지면서 마이크로소프트는 유명인과 비슷한 이미지를 생성할 수 없도록 서비스에 제한을 추가했다고 한다.

2024년 1월 4주경부터 엑스상에서 테일러 스위프트 딥페이크가 확산됐다. 확산된 건 딥페이크를 이용해 만든 성인물. 가짜 성인물은 일부 지역에선 법으로 금지되어 있으며 리벤지물보다 피해가 크다는 지적도 있다. 가짜 성인물 자체는 딥페이크가 유행한 2018년경부터 존재했지만 테일러 스위프트가 피해를 입은 것으로 많은 사람 눈에 머물게 되면서 백악관도 이 문제를 다룰 만큼 미국에서 주목받고 있다.

테일러 스위프트 가짜 성인물을 만든 사용자는 마이크로소프트 생성형 AI 도구인 마이크로소프트 디자이너를 이용하고 있다고 한다. 보도에 따르면 가짜 성인물 제작자는 텔레그램 그룹 채팅을 이용해 연락을 하고 있었으며 이 채팅을 거슬러 올라가면 마이크로소프트 디자이너를 이용해 이미지를 생성했다고 한다.

마이크로소프트 디자이너에는 사용자가 성적으로 노골적인 이미지를 생성하지 못하도록 하는 사양이 내장되어 있었다고 한다. 하지만 일부 사용자는 이를 회피해 테일러 스위프트 가짜 성인물을 만들었다는 것. 유명인 이름 철자를 일부러 조금 실수하거나 성적인 용어를 전혀 사용하지 않더라도 저명인 가짜 성인물이 생성되도록 프롬프트를 고안하는 게 가능했다고 한다. 다만 이 버그는 마이크로소프트에 의해 수정되어 마이크로소프트 디자이너로 유명인 가짜 성인물을 만드는 건 어려워지고 있다고 한다. 하지만 다른 버그를 사용해 규제를 피하고 가짜 성인물을 만들 수 있다는 지적이다.

테일러 스위프트 가짜 성인물을 만드는데 마이크로소프트 디자이너를 악용헀을 가능성에 대해 마이크로소프트는 자사 행동 방침은 성인용 콘텐츠 또는 동의하지 않은 친밀한 콘텐츠를 만드는데 자사 도구를 사용하는 걸 금지하는 항목이 포함되어 있으며 구글 정책에 위배되는 콘텐츠를 만들려는 시도가 반복되면 서비스에 대한 액세스가 손실될 수 있다며 환경 구축을 지원하기 위한 콘텐츠 필터링, 운영 감시, 악용 검출 등 책임 있는 AI 원칙에 따른 방침, 기타 아전 시스템 개발에 임하는 대규모 팀이 있다고 밝혔다.

더구나 보도 이후 마이크로소프트는 보고서를 진지하게 받아들이고 있으며 모든 이들에게 안전한 경험을 제공하기 위해 최선을 다하고 있지만 보고서에 포함된 노골적인 이미지를 재현할 수 없었으며 노골적 콘텐츠에 대한 자사 안전 필터가 작동하고 필터가 우회됐다는 증거도 발견되지 않았다며 밝혔다. 이어 주의를 기울여 텍스트 필터 프롬프트를 강화하고 서비스 악용에 대처하기 위한 조치를 취했다는 성명을 발표했다.

테일러 스위프트는 가짜 성인물을 둘러싸고 법적 조치를 검토하고 있다고 보도되고 있지만 소송 대상이 누구인지 등은 불명이다. 관련 내용은 이곳에서 확인할 수 있다.