PC나 스마트폰 같은 컴퓨팅 기기에 스파이웨어를 숨기면서 사용자 대화를 도청하거나 아마존 스마트 스피커인 에코를 도청기로 개조하는 등 스마트 기기가 보급되면서 도청 위기는 더 친숙해지고 있다. 이런 도청으로부터 사용자를 지키기 위한 AI 기술이 뉴럴 보이스 카모플라주(Neural Voice Camouflage)다. 백그라운드에서 커스텀 오디오 노이즈를 생성해 녹음된 음성을 들을 수 없다.
뉴럴 보이스 카모플라주는 AI를 속이는 공격인 적대적 공격(adversarial attacks)을 이용한 AI 기술로 기계학습을 이용해 AI가 다른 뭔가와 잘못되도록 음성을 미세 조정한다. 적대적 공격에 대해 학술지 사이언스는 AI를 이용해 다른 AI를 속이는 것이라고 설명하고 있다.
AI를 이용해 다른 AI를 속인다고 표현하면 간단하게 보일지도 모르지만 이 과정은 생각처럼 쉬운 건 아니다. 적대적 공격을 이용한 음성 처리의 경우 음성 데이터 전체를 처리할 필요가 있기 때문에 실시간 음성 처리가 어려워진다.
하지만 뉴럴 보이스 카모플라주에선 미래를 효과적으로 에측하기 위해 뇌에 촉발된 기계학습 시스템인 신경망을 이용한다. 연구팀은 뉴럴 보이스 카모플라주에서 사용하는 신경망을 몇 시간에 걸친 음성 데이터로 학습시켜 항상 2초분 음성 데이터를 처리하면서 계속될 가능성이 높은 음성에 대해 어느 노이즈를 추가할지 추측하는 게 가능하다.
예를 들어 누군가가 연회를 즐기라고 말하면 다음에 어떤 단어가 나오는지 정확하게 예측할 수 없다. 하지만 화자 목소리 특징이나 지금 말한 걸 고려해 뒤에 이어질 구문을 들리지 않게 하는 듯한 음성을 생성하는 건 가능하다는 것. 덧붙여 뉴럴 보이스 카모플라주가 생성하는 소리는 인간에게 있어선 배경 노이즈와 같이 들리기 때문에 대화를 저해하지 않고 도청에 이용되는 AI만 방해하는 게 가능해진다고 한다.
개발팀은 뉴럴 보이스 카모플라주 정밀도를 검증하기 위해 자동 음성인식 ASR 시스템 중 하나를 이용했다. 음성을 뉴럴 보이스 카모플라주로 처리하면 ASR 단어 인증 정확도를 88.7%에서 19.8%로 줄이는 데 성공했다. 한편 음성에 화이트 노이즈를 가한 것만으론 ASR 단어 인증 정밀도는 87.2%, 뉴럴 보이스 카모플라주와 같은 예측 기능이 없는 적대적 공격을 이용한 노이즈 처리의 경우 79.5%로 거의 도청 예방에 도움이 되지 않는다는 게 밝혀졌다.
더구나 ASR을 도청 방지 기술을 통해 음성 인식할 수 있도록 학습해도 뉴럴 보이스 카모플라주를 이용하면 ASR 단어 인증 정밀도를 47.5%로 억제하는 게 밝혀졌다. 또 뉴럴 보이스 카모플라주에서 도청을 어렵게 만드는 게 어려운 단어는 the 같은 짧은 단어로 이들은 대화 중에서 가장 눈에 띄지 않는 부분이라고 연구자는 주장하고 있다.
또 뉴럴 보이스 카모플라주 개발팀은 녹음용 마이크가 있는 방에 있는 스피커 세트를 이용해 도청이 어려워지는 잡음을 출력하는 테스트도 하고 있다. 이 테스트도 성공했다. 이 연구를 주도한 콜롬비아대학 연구팀은 이는 AI를 이용해 프라이버시를 보호하기 위한 첫 단계에 불과하다며 AI는 우리의 목소리, 얼굴, 행동에 관한 데이터, 이를 해결하기 위해 프라이버시를 존중하는 새로운 세대 기술이 필요하다고 밝혔다. 또 뉴럴 보이스 카모플라주에서 이용 가능한 예측 기능은 자율주행차나 실시간 처리를 필요로 하는 그 외 애플리케이션에 있어 큰 가능성을 숨기고 있다고 주장하고 있다. 자율주행 차량 기술은 차가 다음에 어디로 가는지 보행자가 어디에 있는지 예측해야 한다. 인간 뇌는 이를 정확하게 예측하기 때문에 이번 시스템은 인간이 하는 것과 같은 방법은 에뮬레이트를 한다는 설명이다.
한 전문가는 기계학습의 고전적 문제인 미래 예측과 적대적 공격이라는 또 다른 문제를 결합하는 건 훌륭하다고 밝히고 있다. 관련 내용은 이곳에서 확인할 수 있다.