지난 7월 14일 도널드 트럼프 전 대통령이 미국 펜실베이니아주에서 공개 연설 중 총격을 받는 사건이 발생했다. 이 사건에 대해 메타 AI에게 물어본 사용자가 정확한 정보를 제공하지 않았다고 문제를 제기했지만 보통 이런 생성 AI는 사전 훈련 데이터를 기반으로 답변을 하기 때문에 시사적인 주제에 대해 무지한 게 당연하다. 하지만 메타는 AI가 답변하는 내용을 더 빨리 업데이트했어야 했다고 사과했다.
챗GPT 등 채팅 AI는 자연스러운 언어로 여러 가지를 설명해주지만 구글 검색이나 위키피디아 등과는 달리 지식을 축적하고 있는 게 아니기 때문에 때때로 사실이 아닌 것이나 상식에서 벗어난 걸 마치 사실인 것처럼 설명하는 경우가 있다. 이런 현상을 환각이라고 부른다.
최근에는 트럼프 전 대통령 암살 미수 사건에 대해 질문을 받은 메타 AI가 그런 사건이 일어나지 않은 것처럼 답변한 사례를 트럼프 지지자(@libsoftiktok)가 보고했다. 이 사용자는 가장 중대한 사건 중 하나인 이번 총격 사건이 억압되고 은폐되고 있는 걸 목격하고 있다고 논평했다. 답변에는 트럼프 암살 미수 사건에 대해 묻자 펜실베이니아주 사건에 대해 전혀 언급하지 않는 AI와의 대화가 나온다.
Meta AI won’t give any details on the attempted ass*ss*nation.
— Libs of TikTok (@libsoftiktok) July 28, 2024
We’re witnessing the suppression and coverup of one of the biggest most consequential stories in real time.
Simply unreal. pic.twitter.com/BoBLZILp5M
이 건에 대해 메타는 공식 견해를 발표했다. 메타는 먼저 메타 AI를 포함한 AI 챗봇이 뉴스 속보나 실시간 정보 제공에 있어 반드시 신뢰할 수 있는 건 아니라는 것은 잘 알려진 문제라고 밝혔다. 간단히 말해 챗봇을 구동하는 모델은 훈련 데이터를 기반으로 하기 때문에 AI가 훈련된 뒤 발생한 실시간 주제에 대해 질문을 받았을 때 몇 가지 문제를 일으킬 수 있다고 지적했다.
그리고 자사는 암살 미수에 대해 잘못된 정보를 제공하게 하는 대신 답변하지 않도록 프로그래밍했다며 AI가 사건에 대해 말하는 걸 거부한다는 보고는 이 프로그램 때문이라고 생각한다고 밝혔다. 메타는 이후 암살 미수에 대한 정보를 업데이트했지만 이를 더 빨리 했어야 했다며 극소수의 경우에는 암살 미수가 일어나지 않았다고 단언하기도 했지만 이런 유형 답변은 환각이라고 불리며 모든 생성 AI 시스템에서 볼 수 있는 업계 전반 문제라면서 자사는 이란 문제를 해결하고 기능을 계속 개선할 것이라고 말했다.
이 외에도 총격 사건 직후 촬영된 사진이 미묘하게 변경된 게 유포되어 메타 시스템이 그 사진에 팩트체크 라벨을 붙였지만 진짜 사진에까지 팩트체크 라벨을 붙여버린 것에 대해 메타가 사과했다. 관련 내용은 이곳에서 확인할 수 있다.