최근 생성형 AI 기술 성능과 사용 편의성이 비약적으로 향상되면서 AI로 생성된 프로파간다와 가짜뉴스 범람이 문제가 되고 있다. 중국과 이슬람국가(ISIS)가 AI 생성 프로파간다를 발신하고 있는 실태에 대한 보도가 나와 눈길을 끈다.
이에 따르면 인터넷에선 5월 20일 대만 총통을 퇴임한 차이잉원 전 총통을 쿵신차이(空心蔡)로 비유하며 비판하는 듯한 뉴스 동영상이 확산되고 있다고 한다. 이는 속이 빈 아채인 공심채(空心菜)와 같다며 이를 비유한 말장난이다.
이 동영상에서 뉴스 내용을 읽고 있는 이는 사람이 아니라 AI로 생성된 가짜 뉴스 캐스터라는 지적이다. 영상 출처나 제작자는 불명이지만 이는 대만 독립을 지지하는 이들에게 의구심을 불러일으키기 위한 목적이므로 중국 측에 가까운 존재에 의해 만들어진 가능성이 높다고 보인다.
이렇게 AI 생성 아바타를 활용한 프로파간다와 가짜뉴스는 이미 소셜미디어에서 확산되고 있다. 가짜정보 조사업체 그라피카(Graphika) 관계자는 AI 생성 프로파간다가 완벽할 필요는 없다며 사용자가 엑스나 틱톡을 스크롤하는 것만으론 작은 화면에서 미묘한 차이를 잡아내기 힘들다고 말했다.
중국은 AI 생성 가짜뉴스 최전선에 있으며 마이크로소프트 위협분석센터(MTAC)는 지난 4월 보고서에서 중국이 AI 생성 콘텐츠를 악용해 우리나라와 미국, 인도 선거를 방해하려 한다고 경고했다. MTAC 측은 중국 내 미디어 기업이 공식적으로 합성 뉴스 캐스터를 사용하고 있어 합성 뉴스 캐스터 형식을 다듬을 수 있었다고 지적했다. 중국은 프로파간다와 가짜뉴스 등 자신들의 체계에 AI를 접목하려 하고 있다며 중국은 모든 것을 시도하고 있다는 것.
또 다른 보도에선 이슬람 과격단체 ISIS도 AI를 프로파간다에 활용하고 있다고 보도했다. 지난 3월 러시아 모스크바 콘서트홀 테러 사건 발생 4일 만에 테러단체 관련 민간 플랫폼에서 헬멧과 군복 차림 뉴스 캐스터가 이는 테러가 아닌 ISIS와 대립국간 일상적 상황이라고 주장하는 영상이 공개됐다.
테러리스트와 과격단체 온라인 활동을 추적하는 SITE 인텔리전스 그룹에 따르면 이 영상 속 뉴스캐스터는 AI 생성 아바타로 뉴스 하베스트(News Harvest)라는 AI 생성 미디어 프로그램 일환으로 ISIS 지지자가 만든 것이었다.
ISIS는 활발한 온라인 프로파간다 전략이 특징인데 기존에도 SNS와 동영상 공유 사이트를 통해 중동은 물론 전 세계에서 전투원과 지지자를 모집해왔다. ISIS가 생성형 AI에 주목한 건 어떤 의미에서 자연스러운 수순일 수 있다. SITE 측 관계자는 ISIS에 AI는 게임 체인저가 될 것이라며 이를 통해 그들은 잔인한 공격 결과를 세계 구석구석까지 빠르게 퍼뜨릴 수 있을 것이라고 말했다.
보도에선 ISIS 지지자가 만든 뉴스 영상 스크린샷을 게재했는데 ‘AI-GENERATED’라는 라벨이 붙어 있지만 정지화면에서 AI 생성 여부를 구별하기는 쉽지 않다.
ISIS 지지자는 프로파간다에 AI 활용에 열의를 보이고 있다. 한 ISIS 지지자는 3월 ISIS 지지자 메신저 서버에서 알자지라 뉴스 채널처럼 텍스트 대신 비디오로 일상 뉴스를 전해주면 좋겠다며 기술이 크게 발전했고 그 중에서도 AI 활용이 쉬워져 실현 가능할 것이라고 말하기도 했다.
러시아 테러 사건 이후 뉴스하베스트 6개 영상이 올라왔고 여기서 ISIS 지지자가 전 세계 ISIS 관련 조직 활동을 설명했다고 한다.
중동보도연구기관(MEMRI) 측은 이들 영상이 ISIS 공식 부문 제작은 아니어서 ISIS 전략과 부합하는지 불명확하지만 ISIS는 과거에도 첨단 기술 도입에 적극적이었기에 ISIS 내부에 AI 미디어 부서가 있어도 이상할 것이 없다고 말했다.
실제로 MEMRI가 4월 23일 입수한 ISIS 메시지에는 ISIS 미디어 부서에서 포스터 제작, 기사 작성, 영상 편집 전문가를 모집하고 있으며 그 중에서도 어도비 포토샵, 프리미어, 그리고 AI 숙련자를 원한다고 나와 있었다. 해당 게시물에는 “미디어의 무자히딘(성전사) 여러분, 미디어가 여러분의 공격을 기다리고 있다”고 적혀 있었다.
알카에다 계열 단체도 지난 2월 온라인에서 AI 워크숍을 열었는데 이처럼 다른 이슬람 과격단체도 AI의 가능성에 관심을 보이기 시작했다.
워싱턴 중동정책연구소 연구원은 AI가 전 세계인에게 프로파간다에 노출되고 과격단체와 접촉할 기회를 제공해 해외 과격단체 성장을 부추길 수 있다고 지적했다. 벽에 스파게티를 많이 던지면 결국 어떤 건 달라붙을 것이라며 AI가 이런 콘텐츠가 바이럴되는 길을 터주고 있는 셈이라고 경고하고 있다. 관련 내용은 이곳에서 확인할 수 있다.