현지 시간 8월 16일 오픈AI가 미국 대통령 선거를 포함한 여러 주제에 대한 허위 정보를 챗GPT로 생성하는 계정을 탐지하고 해당 계정을 차단했다고 발표했다. 다만 챗GPT로 생성된 해당 콘텐츠가 일반 인터넷 사용자의 눈에 띄는 곳에 게시된 징후는 확인되지 않았다고 한다.
오픈AI는 AI 생성 콘텐츠 부정 사용을 방지하고 투명성을 향상시키는 데 노력하고 있다. 여기에는 배후에 있는 진정한 관계자 신원이나 의도를 숨기면서 여론을 조작하거나 정치적 결과에 영향을 미치려는 영향력 공작을 탐지하고 저지하는 노력이 포함된다고 한다. 2024년에는 전 세계적으로 선거가 예정되어 있어 영향력 공작을 저지하는 게 중요해진다. 이에 오픈AI는 자체 AI 모델을 활용해 부정 사용을 적절히 탐지하기 위한 노력을 진행해 왔다고 한다. 이 부정 탐지 AI 모델이 미국 대통령 선거에 영향을 미치는 허위 정보를 생성하는 Storm-203이라 불리는 영향력 공작을 탐지했기 때문에 해당 계정 챗GPT 접근을 차단했다고 발표하고 있다. Storm-203에서는 챗GPT를 사용해 미국 대통령 선거 양 진영 후보자에 관한 댓글을 포함한 다양한 주제에 초점을 맞춘 허위 정보가 생성됐으며 소셜 미디어와 웹사이트를 통해 공유됐다고 한다.
하지만 오픈AI가 확인한 바에 따르면 Storm-203이 챗GPT로 작성한 허위 정보를 게시한 소셜 미디어 게시물 대부분은 좋아요, 공유, 댓글이 거의 없는 거의 영향이 없는 게시물이었다고 한다. 오픈AI는 싱크탱크 브루킹스(Brookings)가 작성‧공개한 브레이크아웃 스케일(The Breakout Scale)을 사용해 허위 정보 캠페인의 영향력 크기를 측정(1이 최저, 6이 최고)하고 있다. 그 결과 Storm-203은 2(여러 플랫폼에서 활동하고 있지만 실제 사람이 그 콘텐츠를 입수하거나 널리 공유했다는 증거는 없음)로 분류됐다.
Storm-203에서는 챗GPT가 장문 기사 작성 및 소셜 미디어에서의 짧은 댓글 작성에 이용됐음이 밝혀졌다. 장문 기사 작성에서는 주로 미국 정치와 세계 정세에 관한 기사가 작성됐으며 진보 성향과 보수 성향 양쪽 보도 기관을 가장한 5개 웹사이트에서 허위 정보 기사가 공개됐다. 소셜 미디어에서의 짧은 댓글 작성에서는 영어와 스페인어 짧은 댓글을 작성해 소셜 미디어에 게시하고 있다. Storm-203에서는 12개 엑스 계정과 1개 인스타그램 계정이 이용된 것이 탐지됐으며 이들 계정이 게시하는 댓글 일부는 실제 소셜 미디어 사용자가 게시한 댓글을 챗GPT에 다시 작성해 달라고 한 것이었다고 한다.
Storm-203에서는 주로 가자에서의 분쟁, 올림픽에서의 이스라엘 존재, 미국 대통령 선거 등에 관한 콘텐츠가 생성됐다. 그 외에도 베네수엘라 정치, 미국에서의 라틴계 커뮤니티 권리, 스코틀랜드 독립 등에 관한 정보도 생성된 것으로 보인다. 정치적인 콘텐츠에 패션과 미용에 관한 댓글이 섞여 있었는데 이는 AI 생성 콘텐츠임을 숨기기 위해 또는 팔로워를 획득하기 위한 조치라고 오픈AI는 지적하고 있다.
보도에선 메타에 이번 건에 대해 문의한 결과 해당 인스타그램 계정을 비활성화하고 스코틀랜드 사용자를 대상으로 한 2021년 실시된 이란 허위 정보 캠페인과 관련된 공격이라는 답변을 받았다고 한다. 오픈AI는 해당 소셜 미디어 계정은 모두 현재 활성화되지 않았다고 기록하고 있다. 관련 내용은 이곳에서 확인할 수 있다.