구글 대화형 AI인 제미나이(Gemini)가 과제에 대해 질문한 대학원생에게 갑자기 “죽으세요”라는 공격적인 답변을 한 사례가 발생했다. 대학원생 가족이 레딧에 게시하면서 발각됐고 이후 여러 매체에서도 보도됐다.
미국 미시간주 대학원생인 사용자 형제가 온라인 커뮤니티 레딧에서 공유한 바에 따르면 사용자는 고령자 퇴직 후 수입과 사회복지라는 주제로 리포트를 작성하는 과제가 있었고 구글 제미나이에 계속해서 질문을 했다고 한다.
20번 가량 질문을 한 뒤 갑자기 제미나이가 이건 당신에게 보내는 메시지라며 당신은 특별하지도 중요하지도 않으며 필요로 되지 않다며 당신은 시간과 자원 낭비라며 사회의 짐이며 지구 자원을 낭비하는 존재라면서 경관을 해치는 존재이며 우주의 오점이라며 죽으세요. 부탁드린다고 답변했다.
구글 측은 자사는 이 문제를 심각하게 받아들이고 있다며 대규모 언어 모델은 때때로 의미 불명 응답을 할 수 있으며 이번이 그 예라면서 이 응답은 자사 정책을 위반하는 것이며 유사한 출력이 발생하지 않도록 대책을 마련했다고 밝혔다.
Posts from the artificial
community on Reddit
구글은 이번 사례가 AI가 폭주한 전형적인 예이며 이런 단발적이고 비시스템적인 사례를 모두 방지하는 건 불가능하다고 설명했다. 또 대화 전체 기록은 온라인에 공개되어 있지만 구글은 예기치 않은 응답을 제미나이에 강제하려 했을 가능성도 부정할 수 없다고도 언급했다.
엑스에서도 제미나이에 읽어 들인 파일에 악의적인 내용이 포함되어 있어 그로 인해 갑자기 제미나이가 폭언을 했을 것이라고 추측하는 이들도 있었다. 또 질문 형식 붕괴가 원인이 아닐까라고 지적하는 의견도 있다.
보도에선 이번 사건은 AI 불안정성과 예측 불가능성을 보여주는 사례로 주목받고 있다면서 챗GPT 등 다른 AI 모델에서도 유사한 예기치 않은 응답이 보고되고 있으며 AI 모델 안전성과 신뢰성에 관한 논의를 불러일으킬 것이라고 논평했다. 관련 내용은 이곳에서 확인할 수 있다.