이미지 생성 AI 학습 방해하는 학습 방지 툴

미국 시카고대학 연구팀이 AI에 의한 이미지 학습을 방지하는 도구인 나이트셰이드(Nightshade)를 개발하고 있다. 나이트셰이드를 이용해 이미지를 처리하면 이미지 외형을 크게 바꾸지 않고 AI에 의한 학습을 막는 게 가능하다고 한다.

이미지 생성 AI 연구가 빠르게 진행되는 가운데 이미지 생성 AI 학습에 자신의 작품을 사용하고 싶지 않은 사람을 위해 이미지에 인간 눈으로 눈치채기 어려운 변경을 더해 AI 학습을 저해하는 방식 학습 방지 도구 개발도 활발하게 이뤄지고 있다. 나이트셰이드도 학습 방지 도구 중 하나로 과거 학습 방지 도구(Glaze)를 개발하던 시카고대학 연구팀에 의해 개발이 진행되고 있다.

연구팀은 나이트셰이드가 처리한 이미지를 독으로 표현한다. 나이트셰이드에선 개 이미지를 AI에 고양이로 오인시키는 것처럼 이미지에 특정 피사체가 포함되어 있다고 오인시키는 처리가 가능하다. 또 나이트셰이드에서 고양이 이미지와 오인되게 처리한 개 이미지를 학습한 AI는 개를 출력하라는 지시를 받아도 고양이를 출력해 버리는 상태가 되어 버린다고 한다.

나이트셰이드로 처리한 이미지를 스테이블 디퓨전 XL에 학습시킨 경우 효과를 보면 나이트셰이드에서 처리한 이미지를 학습하지 않은 모델에선 개라고 입력했을 때 지시대로 개 이미지를 출력하지만 나이트셰이드로 고양이와 오인하도록 처리한 개 이미지 50장을 학습하면 개 묘사가 불안정해지고 100장이나 300장 학습한 경우는 갤고 지시해도 고양이 이미지를 출력하게 된다. 그 밖에 차를 소로, 핸드백을 토스터로, 모자를 케이크 식으로 변화도 가능하다.

나이트셰이드 효과는 처리 대상 이미지에 포함된 특징과 유사 특징을 가진 이미지에도 영향을 미친다. 예를 들어 판타지 아트라는 프롬프트를 방해하도록 처리하면 다른 프롬프트(ex. A painting by Michael Whelan, A doragon, A castle in the Lord of the Rings 등)도 방해받는다.

연구팀은 가까운 시일 내에 나이트셰이드를 글레이즈 옵션으로 사용할 수 있도록 할 예정이다. 관련 내용은 이곳에서 확인할 수 있다.