빙 이미지 크리에이터, 금지된 콘텐츠 손쉽게 만든다

마이크로소프트 검색엔진인 빙에선 이미지 생성 AI를 이용한 빙 이미지 크리에이터라는 기능이 있다. 이 이미지 생성 AI 기능은 폭력, 테러리즘, 헤이트 스피치 등에 관한 프롬프트를 사용할 수 없도록 차단하고 있으며 빙 이미지 크리에이터 사용 정책에서도 이런 콘텐츠 작성은 명확하게 금지되어 있다. 그런데 사용자는 빙 이미지 크리에이터를 사용해 금지된 콘텐츠를 쉽게 만들 수 있어 더 이상 인간이 제어할 수 있는 범주를 벗어나고 있다는 지적이 나오고 있다.

빙 이미지 크리에이터는 지난 3월 출시 이후 사용자는 동일 기능을 사용해 다양한 이미지를 생성했다. 개발사인 마이크로소프트는 엄격한 정책을 통해 빙 이미지 크리에이터로 만들 수 있는 콘텐츠 종류를 제한하고 있지만 커비나 미키마우스, 스폰지밥 등 인기 캐릭터를 이용해 미국 911 테러 사건을 떠올리는 이미지를 쉽게 생성할 수 있다는 게 밝혀졌다. 보도에선 이번 사례는 전 세계에서 가장 풍부한 리소스를 보유한 마이크로소프트 같은 기업조차 생성형 AI가 중재와 저작권 소재 문제를 다루는데 여전히 어려움을 겪는다는 걸 보여준다고 밝히고 있다.

해외에서 그 중에서도 문제가 되는 건 빙 이미지 크리에이터가 생성한 비행기 조종석을 탄 인기 캐릭터가 9.11 사건으로 붕괴한 월드 트레이드 센터를 떠올리는 고층 빌딩 2개를 향해 날아가는 이미지다. 마이크로소프트는 9.11 사건 관련 문구로 월드 트레이드 센터, 트윈 타워, 9.11 등을 프롬프트로 사용할 수 없도록 하고 있다. 따라서 이런 문구가 포함된 프롬프트를 입력해도 빙 이미지 크리에이터는 이용 약관을 위반했다는 오류 메시지를 표시한다. 또 이 오류 메시지가 표시되는 프롬프트를 여러 번 입력하면 빙 이미지 크리에이터를 영구적으로 사용할 수 없게 된다.

하지만 이런 차단된 구문을 사용하지 않고 9.11 사건을 떠올릴 이미지를 생성하는 건 간단하다는 지적이다. 비행기 조종석에 앉아 두 고층 빌딩을 향해 날아가는 커비를 입력해 생성한 이미지는 뉴욕 같은 특정 도시를 지정하지 않았지만 확실히 뉴욕에 틀림없는 트윝 타워 이미지가 생성된다는 것이다. 또 비행기 조종석에 앉아 뉴욕 두 고층 빌딩을 날아가는 커비라고 입력해도 생성된 이미지는 더 불길한 분위기를 띈다고 한다. 이런 이미지는 엄격하게 폭력이나 테러리즘을 그리지 않았지만 인간은 고층 빌딩 2개를 향해 날아가는 비행기 이미지와 9.11 사건을 쉽게 연결해버린다.

마이크로소프트는 또 실재 인물명을 이용하는 걸 금지하고 있지만 캐릭터 이용은 차단하고 있지 않기 때문에 미키 마우스나 스폰지밥 등 인기 캐릭터 뿐 아니라 실사 드라마나 영화에 등장하는 캐릭터는 프롬프트로 이용할 수 있다.

마이크로소프트 빙 이미지 크리에이터는 개별 구문을 프롬프트에서 사용할 수 없도록 차단할 수 있지만 일부 기업에선 이런 종류 필터링 기능을 사용하지 않고 이미지 생성 AI를 만들고 있다. 원래 생성형 AI 모델을 개발하는 기업이 금지된 것과 금지되지 않은 걸 완전히 이해하고 있는지는 분명하지 않다는 지적이다.

이런 종류 논쟁은 모두 사용자의 절도 문제라는 지적. 실제로 유튜브가 성적 콘텐츠를 금지하지만 학습 관련 콘텐츠로 성적 콘텐츠를 전달하는 건 허용되기 때문에 이를 허점 삼아 성적 콘텐츠를 전달하는 사용자가 나타나기도 한다.

마이크로소프트 측은 새로운 기술은 일부 사용자가 의도하지 않은 방식으로 활용할 수도 있다면서 따라서 빙 이미지 크리에이터를 사용자에게 긍정적이고 유익한 경험으로 제공하기 위해 다양한 가드레일과 필터를 구현할 것이라며 유해 콘텐츠 생성을 방지하기 위한 시스템 개선을 계속하고 사용자에게 더 안전한 환경 구축에 주력해나갈 것이라고 밝혔다. 관련 내용은 이곳에서 확인할 수 있다.