생성 AI 발전과 보급에 따라 AI로 만든 콘텐츠가 잘못된 정보나 극단적인 정치 사상을 퍼뜨리는 데 사용되지 않을까 우려가 높아지고 있다. 이미 극우파와 네오나치 인터넷 사용자가 AI 음성 복제 기술로 만든 AI 아돌프 히틀러를 이용해 극단적인 정치 사상을 온라인상에서 젊은이에게 퍼뜨리고 있다는 보도가 나왔다.
영국 싱크탱크 전략대화연구소(ISD)가 9월 22일 발표한 보고서에 따르면 나치에 의한 홀로코스트를 부정하는 역사 수정주의의 고조와 함께 나치 지도자였던 히틀러를 찬양하는 온라인 콘텐츠가 급증하고 있다고 한다. 그 중에서도 히틀러 연설을 찬미하거나 변명하거나 영어로 번역한 콘텐츠는 8월 13일 이후 1개월 동안 엑스, 틱톡, 인스타그램 등 SNS에서 2,500만 회나 재생됐다. 콘텐츠는 주로 AI 음성으로 히틀러 연설을 영어로 번역한 것이었으며 그 중에서도 엑스에서 도달 범위가 넓었다고 보고됐다.
전문가는 몇 초 만에 실제와 똑같은 사진, 목소리, 동영상을 만들어낼 수 있는 생성 AI 도구 존재가 극단주의 그룹이 위험한 사상을 퍼뜨릴 기회를 증가시키고 있다고 지적한다. 이로 인해 기존보다 많은 젊은이가 극단적인 사상에 노출될 위험이 있으며 플랫폼 운영 기업에게는 모더레이션 과제가 제기되고 있다.
실제로 AI 음성 복제로 만들어진 히틀러가 영어로 연설하는 동영상에는 그립군요, 아돌프 아저씨, 그는 영웅이었다, 히틀러는 악당이 아니었을지도 모른다와 같은 댓글이 달리고 있다고 한다. 국제안보 싱크탱크 관계자는 이는 새로운 세대에게 더 매력적인 새로운 종류 감정적 관여를 가능하게 한다고 말했다.
극우파와 네오나치 그룹은 텔레그램과 다크웹 포럼에서 AI로 만든 연설 동영상이 히틀러 사상을 젊은이에게 퍼뜨리는 쉽고 효과적인 방법이라고 평가하고 있다. 파시스트를 자칭하는 웹사이트(American Futurist)는 텔레그램 공개 채널에 이런 종류 콘텐츠는 레드필을 번개 같은 속도로 엄청난 시청자에게 퍼뜨리고 있다며 프로파간다 측면에서 이에 필적할 만한 건 없다고 영화 매트릭스에 등장하는 진실을 알게 하는 알약에 빗대어 댓글을 달았다.
또 한 네오나치 콘텐츠 크리에이터(OMGITSFLOOD)는 동영상 공유 사이트 오디씨(Odysee)에서 진행한 방송에서 일레븐랩스 AI 음성 복제 제작 도구와 동영상 소프트웨어를 사용해 히틀러 동영상을 만드는 방법을 설명했다. OMGITSFLOOD는 방송에서 자본주의 시스템에서 이익을 얻고 있는 유대인에 대해 영어로 연설하는 히틀러 동영상을 불과 5분 만에 만들었다고 한다. 참고로 OMGITSFLOOD는 방송에서 히틀러를 역사상 최고의 지도자 중 1명이라고 말하며 네오나치 사상을 가질 수 있는 젊은이에게 자극을 주고 싶다고 말했다.
보도에선 이 건에 대해 일레븐랩스에 보고하자 일레븐랩스는 OMGITSFLOOD를 플랫폼에서 추방했다. 일레븐랩스 AI 안전 담당 부사장인 아르테미스 시포드는 폭력적, 혐오적 또는 괴롭힘 콘텐츠를 만들기 위해 자사 도구를 사용하는 걸 금지하고 있다고 말했다. 현대에는 프로그래밍 등 전문 지식이 없어도 쉽게 AI 콘텐츠를 만들 수 있으며 히틀러가 영어로 연설하는 동영상을 만드는 데 필요한 소재는 유튜브에서 발췌한 불과 몇 초짜리 동영상으로 충분하다고 한다. 한 오정보 연구자는 이제 이런 콘텐츠를 내보내는 건 매우 쉽다며 게시물이 많으면 많을수록 이전보다 훨씬 더 많은 사람 눈에 띌 가능성이 높아진다고 지적했다.
또 틱톡이나 엑스, 인스타그램 등에서 인기를 끄는 AI 생성 히틀러 동영상에는 나치 프로파간다에서 자주 볼 수 있는 특징이 옅다는 점도 지적되고 있다. 예를 들어 어떤 동영상에는 히틀러 사진이 아닌 단순한 실루엣만 첨부되어 있었고 느린 악기 소리에 맞춰 영어 연설이 흐르는 동영상도 있다고 한다. 이런 동영상에는 테러리스트나 극단주의자 로고가 포함되어 있지 않기 때문에 기술 기업이 단속하기가 매우 어렵다.
ISD 측은 AI 히틀러 동영상을 보거나 공유하는 모든 사람이 연설 내용에 동의하는 건 아니며 단순히 재미있다 또는 극단적이라고 느끼는 경우도 있다고 지적한다. 그러면서 하지만 정치라는 넓은 틀 안에서 이들이 이런 콘텐츠에 여러 번 접하게 되면 감각이 마비되거나 정상화되어 버릴 가능성도 있다고 경고하고 있다. 관련 내용은 이곳에서 확인할 수 있다.