테크레시피

피해자 사칭 AI 챗봇 괴롭힘 첫 형사 사건

AI 기술 발달로 실제와 구분하기 어려운 이미지나 인간과 대화하는 것처럼 착각할 정도로 고도화된 챗봇 등을 제작할 수 있게 됐다. 미국 매사추세츠 주에서 기소된 스토커 사건은 챗봇에 스토커 피해자 정보를 학습시켜 그 사람을 사칭해 괴롭힘을 한 첫 사건으로 보도됐다.

매사추세츠 주에 거주하는 제임스 플로렌스 용의자는 전 친구인 여성에 대해 자택에서 속옷을 훔치거나 장난 전화를 거는 등 스토커 행위를 2017년부터 2024년까지 지속했다. 스토커 행위는 신체적 위험을 느껴 경찰에 신고하기에 이르렀고 피해자와 피해자 남편은 감시 카메라 설치와 최루 스프레이 휴대 등 대책이 필요할 정도였다.

이 스토커 사건에서 특이했던 점은 괴롭힘 일환으로 챗봇이 사용됐다는 것. 법원 문서에 따르면 용의자는 특정 캐릭터가 설정된 챗봇과 친구로 대화하거나 성적인 대화를 할 수 있는 CrushOn.ai나 다양한 속성 챗봇을 검색해 대화할 수 있는 JanitorAI 등 플랫폼을 사용했다.

AI로 챗봇을 제작할 수 있는 플랫폼 대부분은 사용자가 독자적인 챗봇을 설계하고 대화할 캐릭터 속성과 세부사항을 설정할 수 있다. 용의자는 피해자 실제 주소, 생년월일, 가족정보 등 개인정보와 직업정보를 챗봇에 입력한 뒤 성적인 성향을 강조한 사칭 챗봇을 제작했다. 챗봇 설명문에는 피해자 실명은 기혼이며 대학에 근무하는지 그녀를 어떻게 유혹할 것인지 그리고 유혹한 뒤 이 기혼 여성을 어떻게 하겠는지 등이 기재되어 있었다.

사칭 챗봇은 어떤 속옷을 입는 것을 좋아하는지와 같은 대화 상대를 성적으로 자극하는 대화를 하는 것 외에도 챗봇 사용자에게 우리 집에 오지 않겠냐고 제안하도록 커스터마이즈됐다. 거기서 제시되는 주소가 실제 피해자 것이었기 때문에 챗봇에 유도된 낯선 사람이 피해자 집 앞에 차를 세우는 사례가 발생했다.

매사추세츠 주 연방법원에 고소된 이 소송은 챗봇을 사용해 피해자를 사칭하고 범죄를 수행했다는 이유로 스토커가 기소된 첫 사례로 보인다. 성폭력에 반대하는 비영리단체 관계자는 이 피고는 괴롭힘과 협박을 했지만 그건 예전부터 행해져 온 일이라며 하지만 그가 여기서 사용할 수 있었던 수단은 피해를 악화시켰다면서 이 사건은 스토커가 피해자를 노리는 AI에 대한 새로운 매우 불안한 사용법을 보여주고 있다고 지적했다.

용의자는 사칭 챗봇 피해자 외에도 여성 7명을 표적으로 삼았으며 사진을 가공해 세미누드를 만들거나 페이스북 등에서 사칭 계정을 만들기도 했다. AI를 이용한 이런 피해는 남학생이 여학생 딥누드를 제작하는 문제가 심각해지고 있다는 보고나 아동 포르노를 AI로 만드는 도구를 단속하는 법률을 영국이 제정하고 있는 등 최근 주목도가 높아지고 있다. 전문가는 AI가 성적 학대 효율을 높이고 피해를 확대시키고 있는 문제가 현재도 계속되고 있으며 그 문제는 계속 확대되고 있다며 AI 기술에 접근할 수 있는 사람이 늘어날수록 누군가에게 해를 가하기 위해 이용될 가능성도 높아진다고 말했다. 관련 내용은 이곳에서 확인할 수 있다.

정용환 기자

대기업을 다니다 기술에 눈을 떠 글쟁이로 전향한 빵덕후. 새로운 기술과 스타트업을 만나는 즐거움을 독자들과 함께 나누고 싶습니다.

뉴스레터 구독