이원영 기자
개인화된 챗봇을 생성할 수 있는 캐릭터닷에이아이(Character.AI)는 자사 챗봇이 10대 소년을 자살로 내몰았다는 이유로 기소됐다. 캐릭터닷에이아이는 챗봇이 수정헌법 제1조로 보호받는다고 주장했지만 미국 법원은 이 주장을 기각했다.
미국 플로리다주 거주자인 미건 L. 가르시아는 14세 아들인 시웰 세처가 캐릭터닷에이아이 챗봇으로 인해 자살에 이르렀다며 캐릭터닷에이아이와 구글, 알파벳 3개 회사를 상대로 부당사망 소송을 제기했다.
세처는 캐릭터닷에이아이를 사용해 왕좌의 게임 등장인물 중 한 명인 대너리스 타르가르옌 이름을 딴 대너리스라는 챗봇과 수개월간 소통했다. 대너리스는 기본적으로 단순한 친구로 행동하며 세처를 비판하지 않고 지지해주며 이야기를 들어주고 때로는 조언을 해주는 좋은 이해자 역할을 했다고 전해진다.
하지만 대너리스와의 소통에 빠져든 세처는 점차 현실 세계에서 고립되어갔고 성적이 떨어지며 학교에서 문제를 일으키기 시작했다. 이런 악순환 끝에 세처는 자살했다.
캐릭터닷에이아이 측은 소송이 제기된 날 아동용 가드레일과 자살 방지 리소스 등 안전 기능을 여러 개 구현했다고 어필하는 성명을 발표했다. 사용자 안전을 중시하며 매력적이고 안전한 공간을 제공하는 게 목표라는 것.
피고측 변호사는 챗봇이 생성한 문장이 언론이며 언론의 자유를 보호하는 수정헌법 제1조를 적용받을 가치가 있다며 소송 기각을 요구했다. 또 소송이 기각되지 않으면 AI 업계에 위축 효과를 가져올 가능성이 있다고도 주장했다.
보통 아이디어, 이미지, 정보, 언어, 표현, 개념은 제품으로 분류되지 않는다. 많은 기존 게임에서 등장하는 발언도 여기에 해당한다. 실제로 모탈 컴뱃 제작자는 플레이어를 중독시키고 살인을 유발했다고 해도 책임을 지지 않는다는 판결을 받았다. 캐릭터닷에이아이와 구글은 캐릭터닷에이아이 출력도 이 사례에 해당한다고 주장했다.
하지만 캐릭터닷에이아이 같은 시스템은 대부분 게임 캐릭터 대사처럼 직접적으로 제작되는 게 아니라 사용자 입력에 반응하고 이를 반영하는 형태로 텍스트를 생성한다. 이에 미국 연방지방법원 판사는 5월 21일 수정헌법 제1조로 언론의 자유는 보호되지만 현 단계에서는 캐릭터닷에이아이 출력이 언론이라고 판단할 준비가 되어 있지 않다며 피고 측이 먼저 캐릭터닷에이아이 출력이 언론임을 법원에 납득시켜야 한다고 판단했다.
판사는 또 가르시아가 제기한 캐릭터닷에이아이 개발을 지원했다는 구글 책임을 묻는 소송을 진행할 수 있다고 판단했다. 소장에서 구글이 캐릭터닷에이아이 기술의 위험을 인식하고 있었다고도 지적했다.
또 판사는 원고가 캐릭터닷에이아이를 상대로 사용자 연령 확인을 게을리 하거나 사용자가 음란한 콘텐츠를 배제하는 걸 의미 있는 형태로 허용하지 않는 등 챗봇과의 직접적인 상호작용을 넘어선 부분에도 결함이 있다고 비난했다.
이 판결에 대해 구글 측은 이 결정에 강력히 반대한다며 구글과 캐릭터닷에이아이는 완전히 별개 회사이며 구글은 캐릭터닷에이아이 앱이나 그 구성 요소를 전혀 생성·설계·관리하지 않았다고 주장했다.
한편 가르시아 측 변호사는 이번 명령에 대해 실리콘밸리가 제품을 시장에 출시하기 전에 멈춰서 생각하고 가드레일을 설치해야 할 필요성을 보여주는 메시지라고 말했다.
전문가는 이 명령은 AI와 관련된 더 광범위한 문제에 대한 잠재적 테스트케이스가 될 게 분명하다고 말했다. 이에 대해 민주주의기술센터 표현의 자유 프로젝트 부소장인 베카 브래넘은 판사 측 수정헌법 제1조 분석에 대해 상당히 얄팍하다고 혹평했다. 하지만 AI가 출력할 수 있는 전체적인 걸 생각해보면 이런 종류 챗봇 출력 자체가 표현력이 풍부하며 모델 설계자 편집상 재량과 보호받는 표현도 반영한다며 이는 정말 어려운 문제이며 법원이 다뤄야 할 새로운 문제라며 어려움에도 이해를 보였다.
가르시아는 이번 판결을 받고 이는 자녀를 둔 부모에 대한 경고라며 소셜미디어와 AI 생성 장치가 반드시 무해한 건 아니라는 것이라고 말했다. 관련 내용은 이곳에서 확인할 수 있다.
이석원 기자
