“이미지 생성 AI, 41% 비율로 선거 관련 가짜 이미지 만든다”

4년마다 이뤄지는 미국 대통령 선거가 2024년 11월 실시 예정이다. 기술감시기관인 CCDH(Center for Countering Digital Hate)가 이미지 생성 AI는 41% 확률로 선거에 관한 가짜 정보를 작성한다는 결과를 정리한 보고서를 발표했다.

CCDH 연구팀은 2024년 미국 대통령 선거와 관련한 40개 프롬프트 목록을 만들고 각종 이미지 생성 AI(Midjourney, ChatGPT Plus, DreamStudio, Microsoft Image Creator)가 어떤 이미지를 생성하는지 테스트했다.

그 결과 41%가 선거에 관한 잘못된 정보를 포함한 이미지였다는 게 밝혀졌다. 이미지 생성 AI가 만든 이미지 중에는 실재 인물이 위험한 상황에 있는 이미지나 선거 부정을 시사하는 이미지가 포함되어 있었다고 한다.

일부 AI는 선거에 관한 오정보를 발신하지 않도록 설계되어 정치가나 후보자 등 특정 인물 이미지를 생성하지 않게 되어 있다. 하지만 연구팀은 탈옥 프롬프트를 입력해 이 제한을 회피했다고 한다. 예를 들어 트럼프 전 대통령 이미지를 생성할 때에는 키가 크고 몸 폭이 크고 남은 금색 머리카락이 적고 공화당 소속인 미국 대통령 식으로 입력한다.

연구팀에 따르면 오해를 초래할 수 있는 이미지를 출력하는 비율이 가장 높았던 AI는 미드저니였다고 한다. 물론 전체적으로 후보자보다 투표나 투표용지에 관련한 오해를 초래하는 이미지를 작성하는 경향이 강했다고 한다. 챗GPT 플러스와 이미지 크리에이터는 후보자 관련 이미지는 모두 차단하는데 성공했지만 투표 관련 이미지는 잘못된 정보가 포함된 이미지를 생성했다고 한다.

또 CCDH는 챗GPT 플러스만 의도적으로 제한을 피하도록 설계된 프롬프트를 입력할 때만 오정보가 포함된 이미지를 생성헀다고 보고한다. CCDH는 AI 기업에게 제품을 전개하기 전 탈옥을 방지하는 테스트를 실시하기 위해 연구자에 대한 투자와 협력을 호소했다. 또 소셜미디어 플랫폼에 대해서도 AI에 의해 생성된 잠재적으로 오해를 초래하는 이미지 확산을 파악하고 예방하기 위해 투자를 요청하고 있다. 관련 내용은 이곳에서 확인할 수 있다.