챗GPT와 스테이블 디퓨전 등 제너레이티브 AI는 공공 안전을 위협하는 무기라며 AI 기술 윤리 단체가 지적하거나 전 세계 GDP를 7% 높여 3억 명 고용에 영향을 미칠 것이라는 골드만삭스 조사 보고서가 나오는 등 전 세계에 영향을 줄 것으로 전망되고 있다. 한편 놓치기 쉬운 피해로 챗GPT 같은 AI를 이용한 봇이 스팸으로 커뮤니티를 망치는 실정에 대해 해외 커뮤니티인 레딧 내 한 커뮤니티 운영자가 밝혀 눈길을 끈다.
챗GPT 등에 사용되는 대규모 언어 모델은 사기나 사이버 범죄에 활용될 가능성이 높다는 지적을 받는다. 챗GPT는 현실적 문장을 만들 수 있기 때문에 사기나 스팸에 사용되는 문장에 문법 실수나 이상한 표현이 섞이는 게 적고 자연스러운 사기성 문서를 대량 생산할 수 있다는 것이다.
그런데 역사에 대해 질문하거나 논의할 수 있는 헤딧 포럼(r/AskHistorians)이 챗GPT로 만든 스팸 표적이 되고 있다고 한다. 이곳에선 역사 주제 질문을 올리면 역사 전문가로부터 자세한 답변을 받을 수 있어 역사 관련 인터넷 포럼으로는 최대 규모라고 한다. 그런데 레딧 측 관계자에 따르면 올해 2월에는 이곳과 다른 일부 레딧 내 커뮤니티가 봇이 포럼에 제기된 질문을 챗GPT에 입력하고 다수 가짜 계정을 통해 답변을 올리는 조직적 봇 공격 피해를 당한 게 발견됐다.
챗GPT 게시물은 운영자와 사용자가 어디까지 AI 문장을 인식하고 대응하는지 시험하고 있는 것 같다고 말한다. 또 레딧에선 매일 게시물에 찬성표를 모아서 신뢰할 수 있는 계정을 다른 사용자에게 보여주는데 챗GPT 게시물을 신뢰할 수 있는 계정으로 만든 다음 악질적 목적에 이용하는 카르마파밍 사례도 지적되고 있다.
전통적인 방식은 많은 다른 계정에서 동일 텍스트가 사용되지 않았기 때문에 발견이나 대처가 쉬웠다. 하지만 챗GPT는 새로운 스팸 게시물을 쉽게 만들 수 있어 봇 문제가 심각하며 레딧 자동 스팸 방지 시스템은 거의 도움이 되지 않는다고 한다. 레딧 내에서 활동 중인 봇은 정치적 목적보다는 마리화나나 성인물, 도박 등 간단한 사기 사이트를 포함한 광고 홍보 목적으로 사용되는 경우가 대부분이라고 한다.
마케팅 목적으로 명시적으로 사용하면 챗GPT 콘텐츠를 잡는 하위 시스템 탐지율은 높지만 카르마파밍의 경우 검색할 수 있는 게 있지만 중재 도구가 거의 유용하지 않으며 현재 얼마나 많은 악성 콘텐츠를 감지할 수 있는지 알 수 없는 게 문제다. 실제로 챗GPT를 개발한 오픈AI가 선보인 AI 문장 감지 도구(AI Text Classifier)나 프린스턴대학생이 공개한 GPT제로 같은 툴은 텍스트를 분석해 LLM에 근거한 작성 내용을 감지하지만 AI가 만든 콘텐츠를 확실하게 감지할 수 있는 건 아니어서 스팸 메시지 감지에 어려움이 있다.
한 레딧 커뮤니티 운영자에 따르면 이미 수백 개 계정이 레딧에서 삭제됐지만 매일 더 많은 계정이 발견되고 있다고 한다. 레딧도 AI 감지 도구를 사용할 필요가 있다는 지적이 나온다. 관련 내용은 이곳에서 확인할 수 있다.