정용환 기자
폴란드에 위치한 AI 스타트업인 일레븐랩스(ElevenLabs)는 음성 샘플에서 목소리 복제물을 만들어 다양한 문장을 읽는 도구를 개발하고 있다. 일레븐랩스가 최신 툴 베타 버전을 공개헀는데 해외 커뮤니티에선 유명인 목소리로 인종차별 발언 등을 말하게 하는 악용 사례가 급증해버렸다고 보도되고 있다.
일레븐랩스가 전 구글 기계학습 엔지니어(Piotr Dabkowski)가 설립한 곳으로 새로운 음성을 설계하는 합성 음성 작성 도구와 샘플 음성을 바탕으로 문장을 읽는 클론 음성 작성 도구를 제공한다.
클론 음성 작성 툴은 1분이 넘는 깨끗한 음성 샘플을 입력하면 이 샘플을 바탕으로 클론 음성을 생성할 수 있다고 한다. 타깃은 뉴스레터나 책 독해, 동영상 내 음성 등에 이용될 수 있다.
그런데 일레븐랩스가 클론 음성 작성 툴 베타 버전을 공개하자 유명인 목소리로 인종차별 발언 등을 말하게 한다는 악용을 해버린 것. 배우 엠마 왓슨 목소리로 나치 지도자인 아돌프 히틀러의 저서 나의 투쟁을 읽게 하는 식이다. 진짜 인터뷰 영상에 나오는 그녀의 목소리와 비교하면 확실히 왓슨의 목소리처럼 들린다.
그 밖에도 인종차별 발언이나 폭력적이거나 동성애, 트랜스젠더 혐오 등도 많다고 한다. 보도에선 AI 생성 음성 서비스는 음성 품질과 클론 음성 작성이 용이해 딥페이크 음성 클립의 위험성을 말해준다는 평가다.
일레븐랩스 역시 1월 30일 트윗을 통해 베타 버전 공개 후 음성 복제 악용 사례도 늘고 있다고 밝혔다. 이런 악용 문제를 해결하기 위해 일레븐랩스는 도구를 활성화하기 위해 추가 계정 유효성 검사 도입, 입력하는 음성에 텍스트를 첨부해 음성 저작권 확인, 완전히 삭제하는 것 등 대책을 예로 들며 아이디어를 모집하고 있다. 관련 내용은 이곳에서 확인할 수 있다.
이석원 기자
