환각 일으킨 고객 지원 AI…개발 기업 평판도 급락

고객 지원으로 구현된 채팅 AI가 잘못된 정보를 유포해 회사 평판에 악영향을 미친 것으로 밝혀졌다. IT 관계자는 전적으로 AI에 의존하는 것도 좋지 않다며 이 사례를 교훈으로 삼고 있다.

고객 지원 AI에 문제가 발생한 곳은 AI 스타트업 애니스피어(Anysphere)다. 애니스피어는 AI를 통한 코드 생성과 문장 생성을 표준 기능으로 탑재한 에디터 커서(Cursor)를 개발해 연간 매출 1억 달러에 달하는 등 괄목할 만한 성장을 이룬 기업으로 AI 어시스턴트를 고객에게 제공하는 동시에 고객 지원 담당자로 자사에서도 AI 어시스턴트를 활용하고 있다.

하지만 이 고객 지원 AI 어시스턴트가 고객에게 잘못된 정보를 전달하는 사태가 발생했다. 사건 발단은 커서 사용자 문의였다. 이 사용자는 기기를 전환하면서 동시에 비정상적으로 서비스에서 로그아웃되는 결함을 경험했기 때문에 고객 지원에 연락했고 샘(Sam)이라고 자신을 소개한 지원 담당자로부터 로그아웃은 새로운 정책에 따른 예상된 동작이라는 답변을 받았다고 한다.

하지만 새로운 정책 같은 건 존재하지 않았으며 샘이라는 인물도 가상 인물인 것으로 밝혀졌다. 샘이 한 답변은 AI가 한 것이었으며 새로운 정책은 환각이었고, 완전히 꾸며낸 설명이었다.

이 뉴스는 개발자 커뮤니티에서 급속히 퍼져 커서 사용을 취소했다는 사용자 보고가 제기됐고 애니스피어 측 투명성 부족에 불만을 토로하는 이들도 있었다. 이런 혼란에 따라 애니스피어 공동 설립자 마이클 투루엘은 사용자를 로그아웃시키는 버그를 조사 중이라며 혼란을 초래한 점 사과드린다고 논평했다.

테크 인플루언서는 이번 사례를 교훈으로 삼아 향후에 활용하도록 다른 신생 기업에게 경고했다. 구글 전 최고 과학자인 캐시 코질코프는 이런 혼란은 AI가 실수를 범하고 AI는 그 실수에 대한 책임을 질 수 없으며 사용자는 인간을 가장한 기계에 속는 걸 싫어한다는 것을 리더가 이해했다면 피할 수 있었을 것이라고 말했다.

보안 회사 업윈드(Upwind) 아미람 샤하르 CEO는 환각을 보는 AI 챗봇이 화제가 된 건 이번이 처음이 아니라고 지적한다. 2022년에는 항공사 에어 캐나다 AI 챗봇이 할인 제도에 대해 잘못된 안내를 했기 때문에 소송으로 이어진 사례가 있다.

샤하르 CEO는 근본적으로 AI는 사용자 생각을 이해하지 못한다며 적절한 제약이 없으면 AI는 근거 없는 정보로 자신 있게 대답해 버린다면서 커서 고객처럼 고도의 기술을 가진 사용자에게는 대충 설명하는 건 용납되지 않을 것이라고 지적했다. 관련 내용은 이곳에서 확인할 수 있다.