미국 매릴랜드주 볼티모어 카운티 파이크스빌 고등학교에서 체육교사를 맡고 있던 다존 다리엔(Dazhon Darien)이라는 남성이 교장인 에릭 아이스워트(Eric Eiswert)가 인종차별적이며 반유대주의적 발언을 한 음성을 AI를 활용해 제작하고 소셜미디어에 확산시킨 혐의로 체포됐다.
지난 1월 소셜미디어에 교장이 인종차별적 발언을 한 음성이 확산됐다고 한다. 이 사건 여파로 아이스워트 교장은 일시적으로 정직 처분을 받았다. 볼티모어 카운티 경찰이 이 음성을 조사한 결과 음성은 평탄한 톤에 배경음은 비정상적으로 깨끗한 데 반해 일관된 호흡음 등이 부족하다는 AI 합성 음성 특징을 지니고 있었던 것으로 보인다. 더불어 음성 파일명에는 아이스워트 교장과 같은 학교에서 체육 교사를 맡고 있는 다존 다리엔 이름이 기재되어 있었다고 한다.
보도에 따르면 다리엔은 학교 컴퓨터를 이용해 오픈AI 제품과 마이크로소프트 빙 채팅에 접속해 AI 합성 음성을 생성한 것으로 보인다. 그 밖에도 그의 이메일 주소와 전화번호가 조작된 음성에 연결되어 있었다고 한다. 다만 다리엔이 어떤 AI 음성 생성 도구를 활용했는지는 밝혀지지 않았다.
경찰은 현지시간 4월 25일 그를 체포하고 고등학교 체육부장이던 그가 당시 학비 부정 처리 가능성에 대해 조사 중이던 교장에 대한 보복 차원에서 AI 합성 음성을 제작한 것으로 보인다는 성명을 발표했다. 다리엔은 현재 보석금을 내고 석방된 상태지만 학비 횡령과 학교 운영 방해, 증인 위협, 스토킹 행위 등 혐의로 기소됐다.
AI 합성 음성 정확도가 높아짐에 따라 AI를 활용한 음성 클로닝 기술에 대한 관심이 높아지는 동시에 여러 문제도 대두되고 있다. 지난 1월에는 AI로 생성된 바이든 대통령 음성을 활용한 전화가 다수 유권자에게 걸려와 큰 문제가 됐다. 이를 계기로 연방통신위원회(FCC)는 로봇 전화를 위한 AI 음성 활용은 불법이라고 선언하기도 했다.
AI 합성 음성에 대한 우려가 확산되는 가운데 오픈AI는 3월 말 단 15초 음성만으로 클론 음성을 생성할 수 있는 AI 모델인 보이스 엔진(Voice Engine)을 출시했다. 하지만 오픈AI는 AI 합성 음성에 대한 우려를 의식해 보이스 엔진 일반 공개에 대해선 합성 음성이 악용될 가능성이 있어 광범위한 출시를 위해서는 신중하고 정보에 기반한 접근을 하고 있다고 설명했다. 관련 내용은 이곳에서 확인할 수 있다.