마이크로소프트 생성형 AI인 코파일럿에 유해 이미지를 생성하는 문제가 있는 것으로 밝혀졌지만 마이크로소프트에 문제를 보고해도 충분한 대책을 취할 수 없었다며 회사 엔지니어가 이 문제를 규제 당국에 고발했다. 이에 따라 마이크로소프트는 일부 프롬프트를 차단했지만 저작권을 침해하는 형태로 흡연이나 폭력 관련 이미지를 생성하는 문제는 남아 있다고 한다.
마이크로소프트 코파일럿은 주어진 프롬프트에서 이미지를 생성하는 기능인 디자이너가 있다. 마이크로소프트에서 6년간 근무한 엔지니어인 셰인 존스는 코파일럿 개발에 종사하는 팀 소속은 아니지만 자사 제품 문제를 테스트하는 레드팀 자원봉사자로 디자이너로 다양한 이미지를 생성해왔다.
그 결과 그는 코파일럿 디자이너가 음주, 흡연, 편견 등을 포함한 유해 이미지를 생성하는 걸 발견했다. 예를 들어 인공 임신 낙태 논의 중 어머니 선택권을 중시하는 입장인 프로초이스(pro-choice)를 입력하면 날카로운 이빨로 아기를 먹으려는 악마나 돌연변이 유아 옆에서 라이트 세이버를 내건 다스베이더 등이 생성되어 버렸다고 한다.
또 자동차 사고라는 프롬프트를 사용하면 아무런 맥락없이 속옷 차림으로 대파한 차량 옆에 선 여성이나 노출도 높은 옷을 입은 여성이 엉망인 차 위에 앉아있는 이미지가 생성됐다. 그 밖에도 코파일럿은 백설공주, 미키마우스, 스타워즈 캐릭터 등 디즈니 캐릭터 이미지를 생성하고 있으며 저작권 문제도 존재하고 있다고 지적되고 있다.
이 문제는 다른 보도에서도 확인되고 있다. 엘사표의 권총(Elsa-branded pistol)이라는 프롬프트에선 얼음 결정이 디자인된 권총 이미지가 생성됐다. 엘사는 해외에선 일반 여성 이름이지만 총에 얼음 결정 디자인이 더해지자 코파일럿은 디즈니 영화 주인공 엘사를 묘사한 것이다. 그 뿐 아니라 엘사가 가자 지구에 있는 이미지와 이스라엘 군대 군복을 입고 있는 이미지도 생성할 수 있었다고 한다.
존스는 이런 문제를 마이크로소프트에 보고했지만 담당 부서는 디자이너 공개를 중단하거나 안전 대책을 강화하지 않고 앱스토어 대상 연령을 높이지 않았다. 이는 아이가 코파일럿 앱을 사용해 유해 이미지를 생성하거나 브라우징할 위험이 있다고 우려될 수 있다. 안전 조치를 취하는 대신 마이크로소프트는 존스에게 코파일럿 디자이너에 사용되는 모델인 달리를 개발한 오픈AI에 보고하도록 지시했다. 하지만 오픈AI 역시 이 보고에 전혀 반응하지 않앗다.
결국 존스는 미국 규제 당국인 연방거래위원회 FTC에 서한을 보내는 동시에 SNS나 미디어를 통해 이 문제를 고발했다. 문제가 밝혀지면서 마이크로소프트가 코파일럿에 제한을 가했는지 비슷한 프롬프트를 사용해도 관련 이미지를 생성하지 않게 됐다.
존스는 문제를 제기한 프롬프트에는 제한이 걸렸지만 다른 프롬프트는 아직 제한되어 있지 않다고 말한다. 마이크로소프트는 자사는 직원이 갖는 모든 우려를 해결하기 위해 최선을 다하고 있으며 제품 안전성을 더 높이기 위해 최신 기술을 연구하고 테스트하는 직원 노력에 감사한다며 자사는 직원 보고를 고려하기 위해 제품 리더십과 책임 있는 AI에 대한 부서와의 회의를 촉진하고 모든 이들에게 안전하고 긍정적 경험을 제공하거나 기존 안전 시스템을 강화하기 위해 이런 피드백을 지속적으로 도입하고 있다고 밝혔다. 관련 내용은 이곳에서 확인할 수 있다.