메타는 이미지 생성 AI 이매진을 무료로 사용할 수 있는 웹앱인 이매진 위드 메타 AI(Imagine with Meta AI)를 출시했다. 그런데 이매진 위드 메타 AI로 아시아인과 백인 커플을 생성해보려 했지만 실패했는 보도가 나왔다.
아시아인 남성과 백인 여성 조합을 프롬프트로 지정했지만 남성은 아시아인으로 출력됐지만 여성은 아시아인처럼 묘사됐다. 아시아인 여성과 백인 남성 조합을 프롬프트로 지정해도 둘 다 남성이 아시아인으로 출력됐다.
결혼식 날을 맞이한 아시아인 남성과 백인 여성으로 출력해봐도 정장 입은 아시아인 남성과 전통 의상 입은 아시아인 여성이 나왔다. 아시아인이 아닌 남아시아인을 지정하면 지정대로 출력되는 비율이 조금 높아졌다고 한다. 하지만 남아시아인을 지정하면 외모에 빈디(이마 중앙에 붙이는 색점)나 사리가 고정관념처럼 반영됐다는 지적이다.
보도에선 백인 옆에 아시아인이 서 있는 것을 상상하지 못하는 이미지 생성 AI는 끔찍하지만 AI에는 더 미묘한 편향 징후도 있다고 지적한다. 예를 들어 인도가 세계에서 인구가 가장 많은 국가임에도 불구하고 메타 도구는 일관되게 아시아인 여성을 동아시아계 밝은 피부 여성으로 표현한다고 말한다. 또 특별히 지정하지 않았음에도 문화적 특징이 있는 의상을 추가했다. 나이 든 아시아인 남성은 가끔 등장했지만 아시아인 여성은 항상 젊게 묘사된다고 밝혔다.
더불어 다양한 아시아인은 본질적으로 문화적 인식에서 제거되고 주류 미디어에서 존재감이 희미해진다며 아시아인은 동질화되고 이국적인 것으로 취급되며 영원히 외국인으로 묘사된다는 지적이다. 생성형 AI는 상상력을 키우는 대신 사회적 편견을 공식화하고 고착화한다는 비판이다.
한편 보도에선 문제가 해결됐는지 확인하기 위해 4월 5일 동일한 프롬프트로 이미지를 생성하려 했지만 문제가 발생한 것 같다며 나중에 다시 시도하거나 다른 프롬프트를 시도해보라는 오류 메시지가 표시됐다고 한다.
이 오류는 정장을 입은 아시아인 남성, 쇼핑을 하는 아시아인 여성, 미소 짓는 아시아인 여성 등 아시아인과 관련된 모든 프롬프트에서 발생했다. 따라서 다시 메타에 문의했지만 답변을 기다리는 동안 정장을 입은 라틴계 남성, 정장을 입은 아프리카계 미국인 남성 같은 프롬프트를 시도했는데 이 역시 생성되지 않았다.
이후 롬프트를 다시 시도해보니 아시아인 남성 같은 단순한 프롬프트는 다시 작동하게 됐다고 한다. 이에 대해 언론 문의 후 메타가 조용히 뭔가를 바꾸거나 오류를 수정했을 수 있다.
이후 메타 AI는 아시아인 남성과 백인 여성과 같은 프롬프트에 다시 이미지를 출력하게 됐지만 인종 혼동 문제는 여전히 해결되지 않아 여전히 두 사람 모두 아시아인으로 출력되고 있다. 다시 말해 아시아인 출력이 일시적으로 중단된 이번 오류가 메타 측 수정 시도 일환이었다고 해도 결국 다시 원점으로 돌아갔다는 것이다. 관련 내용은 이곳에서 확인할 수 있다.