시카고 대학 연구팀이 제공하는 사람이 그린 그림에 눈에 보이지 않는 변형을 가해 AI 학습으로부터 보호하기 위한 도구인 글레이즈(Glaze)에 대해 스위스 온라인 보안 연구팀이 글레이즈 보호는 쉽게 우회 가능하다고 지적하는 논문을 발표했다.
시카고 대학 연구팀이 개발한 글레이즈는 각 이미지에 눈에 보이지 않는 섭동을 적용해 AI가 작가의 예술적 스타일을 학습할 수 없게 만들어 ○○ 스타일 이미지 같은 키워드로 이미지 생성이 어려워지게 해주는 도구다. 개발팀 실례에서는 원본 아트에 글레이즈를 적용해 생성된 클로크 아트워크를 학습한 AI가 원본 이미지 모방에 실패했다.
도구 공개 이후 글레이즈는 아티스트로부터 큰 인기를 얻고 있어 보도에 따르면 아티스트 수백만 명이 글레이즈를 다운로드했고 글레이즈 웹 버전인 웹글레이즈(WebGlaze)를 이용하려면 몇 주에서 몇 달 대기 시간이 발생하고 있다고 한다. 이에 개발팀은 수요의 폭발적인 증가를 고려하면 지금 당장 웹블레이즈 운영 방식을 재검토할 필요가 있다고 말했다.
Clearly I have to step back and rethink the way we run webglaze right now, given the (likely sustained) explosion in demand. We might have to change the way we do invites and rethink the future of webglaze to keep it sustainable enough to support a large & growing user base.
— Glaze at UChicago (@TheGlazeProject) June 15, 2024
또 개발팀은 글레이즈 발표 당시 안타깝게도 글레이즈는 이미지 생성형 AI 모방에 대한 영구적인 해결책이 아니라며 글레이즈 같은 아트를 보호하기 위해 사용되는 기술은 이미지 생성 AI 향후 대책에 의해 극복되어 지금까지 보호되어 온 아트를 취약하게 만들 가능성이 있다고 문제를 제기했다.
이런 우려는 현실이 되어 구글딥마인드 등 연구팀은 글레이즈 보호는 쉽게 우회 가능하며 아티스트는 스타일 모방에 대해 취약해질 수 있다고 주장하고 있다. 연구팀이 공개한 글레이즈 보호를 뚫는 방법은 이미지 업스케일링이나 새로운 데이터로 AI를 훈련할 때 다른 미세 조정 스크립트를 사용하는 것, 훈련 전 이미지에 가우시안 노이즈를 적용하는 것 등이다. 연구팀은 이런 기법을 적용해 기존 보호를 크게 저하시키는 게 가능하다고 지적하고 있다.
이 지적에 대해 연구팀은 공격 대부분이 이전 버전 글레이즈를 대상으로 했기 때문에 공격 영향은 제한적이라며 연구팀이 사용한 코드와는 다른 코드를 사용하는 글레이즈 업데이트를 실시했다. 하지만 연구팀 관계자는 최신 버전에서도 이번 공격에 대한 모든 걸 방어할 수 있는 건 아니라고 말했다. 실제로 연구팀에 따르면 최신 버전 글레이즈가 적용되어 있어도 원본 이미지에 미세 조정 스크립트를 적용하는 것만으로도 만화 스타일로 등 키워드로 이미지 생성이 가능해진다고 한다.
연구팀은 글레이즈의 잠재적 취약점을 아티스트에게 알리기 위해 가능한 한 빨리 글레이즈에 의한 보호를 뚫는 수단을 공개하는 게 좋다고 생각해 글레이즈 업데이트를 기다리지 않고 공격 실행 방법의 세부 사항을 공개했다고 한다. 또 연구팀은 때로는 이런 공격 방법을 여러 개 조합해야 할 필요가 있지만 의욕이 있고 충분한 리소스를 가진 예술 위조자가 글레이즈 보호를 뚫기 위해 다양한 방법을 시도할 가능성이 있다고 경고했다.
더 나아가 아티스트를 지원하기 위한 최선의 방법은 글레이즈와 같이 도구 보안 분석을 거부하면서 도구를 판매하는 게 아니며 접근 방식에 결함이 있는 경우 수정할 수 있도록 취약점을 조기에 발견해야 한다고 밝혔다. 그러려면 도구를 오픈소스로 연구하는 게 중요하다는 설명이다.
한편 글레이즈 개발팀은 아티스트 보호를 유지하기 위한 방법은 글레이즈 코드를 적절히 보호하는 것이며 적응형 공격에 대한 저항력을 높이기 위해 코드에 대한 오픈소스화는 실시하지 않겠다고 말했다. 관련 내용은 이곳에서 확인할 수 있다.