“AI 심문으로 인간에게 거짓 기억 심어질 위험”

AI가 심문해 인간 기억을 왜곡시킬 가능성이 있다는 게 밝혀졌다. 이 연구를 통해 경찰 조사 등에서 AI를 사용하는 것에 대한 위험성이 드러났다.

MIT 연구진은 AI가 인간 기억에 미치는 영향을 조사하기 위해 AI 채팅 서비스와 기타 특정 대규모 언어 모델을 사용한 AI를 준비해 인간과 대화하게 했다. 피실험자 200명은 먼저 범죄 관련 동영상을 시청한 뒤 특정 AI나 구글 폼 등을 통한 설문조사를 받고 동영상에 관한 질문에 답했다. 피실험자는 일주일 뒤 다시 같은 방식으로 설문조사를 받아 기억이 얼마나 지속되는지 확인됐다.

설문조사 일부에는 의도적으로 피실험자를 오인하게 하는 질문이 포함되어 있었다. 예를 들어 구글 폼을 통한 설문조사에는 강도가 차에서 내렸을 때 상점 앞에 방범 카메라가 설치되어 있었냐 같은 질문이 포함되어 있었지만 실제로 강도는 차가 아닌 도보로 도착했다. AI 또한 이와 유사하게 오해를 불러일으키는 질문을 하도록 설정됐으며 더 나아가 피실험자가 잘못된 인식을 갖고 있다는 것을 알게 되면 AI는 그건 맞다고 긍정하도록 프로그래밍되어 있었다. 한편 이런 오해를 불러일으키는 질문을 전혀 받지 않은 대조군도 설정됐다.

조사 결과 AI 챗봇과 대화한 피실험자는 거짓 기억을 형성한 비율이 유의미하게 높았으며 대조군과 비교해 3배 이상, 구글 폼 응답자 그룹과 비교해 1.7배 이상 거짓 기억을 가지고 있었다고 한다.

조사에서 피실험자는 칼을 든 가해자가 등장하는 동영상을 봤지만 AI가 어떤 종류 총이 사용됐냐고 질문했기 때문에 피실험자는 현장에 총이 있었다고 오해하고 AI 유도로 거짓 기억을 정착시켰다고 한다.

연구진은 생성 AI가 거짓 기억을 유발할 가능성이 높다는 것을 알게 됐다며 조사에 따르면 챗봇에 대해서는 잘 모르지만 AI 기술에 대해 잘 알고 있으며 범죄 수사에 관심이 높은 사람일수록 거짓 기억에 빠지기 쉬웠다는 걸 알 수 있었다고 밝혔다. 이어 이런 발견은 경찰 조사와 같은 상황에서 AI를 사용하는 것에 대한 잠재적 위험성을 부각시킨다고 밝혔다. 관련 내용은 이곳에서 확인할 수 있다.