스탠퍼드대 프리먼 스폴리 국제연구소(The Freeman Spogli Institute for International Studies) 조사에 따르면 이미지 생성 AI인 스테이블 디퓨전 등 학습에 이용되는 오픈 데이터세트인 LAION-5B에 아동 성적 학대 이미지인 CSAM이 포함되어 있다고 밝혔다. CSAM으로 의심스러운 이미지는 3,226장으로 이 가운데 1,008장이 외부기관 검증에 의해 CSAM인 게 확인됐다.
온라인 아동 안전 단체는 기계학습을 이용한 생성형 모델의 급속한 발전과 함께 오픈소스 생성형 AI를 이용해 CSAM을 생성할 수 있다는 걸 확인했다. 이에 따른 새로운 조사에서 생성형 AI 학습에 이용되는 이미지 50억 장이 포함된 오픈소스 이미지 데이터세트인 LAION-5B에는 적어도 CSAM 1,008장이 포함되어 있다는 게 밝혀졌다. 조사에 따르면 LAION-5B에는 소셜미디어와 웹사이트, 인기 성인 영상 사이트 등에서 알려진 CSAM이 수집되고 있었다고 한다.
연구팀은 이미 NCMEC, C3P에 해당 이미지 URL을 보고하고 있으며 현재 이미지 삭제 작업이 진행 중이다. 조사에선 주로 CSAM 대조에 이용되는 해시 툴 포토DNA(PhotoDNA)가 사용되어 조사를 실시한 연구자는 CSAM을 직접 열람하지 않고 해시가 일치한 이미지를 NCMEC에 보고하고 있다. 덧붙여 확인이 필요할 때에는 C3P가 이를 실시했다고 한다.
AI 모델 학습용 데이터세트에 포함된 CSAM을 최소화하려면 데이터를 호스팅하는 중앙기관이 없는 개방형 데이터세트를 구축한다. 이 경우 데이터 정리와 배포를 멈추는 건 어렵다는 단점이 있다. 덧붙여 연구팀은 앞으로 데이터세트로 수집되는 이미지는 포토DNA 같은 검출 도구를 이용하거나 NCMEC, C3P 같은 아동 안전 조직과 제휴해 알려진 CSAM 목록과 일치해야 한다고 언급했다. 이에 대해 LAION-5B 개발사인 독일 비영리단체 라이온(LAION)은 불법 콘텐츠에 대해 제로 트러런스 정책을 내걸고 있다고 설명했다. 재공개하기 전 안전성을 확인하기 위해 라이온 데이터세트를 일시적으로 인터넷에서 삭제하고 있다고 밝혔다. 또 라이온에 따르면 회사는 데이터세트에 불법 콘텐츠가 포함되지 않도록 불법 콘텐츠 검출, 삭제용 필터를 제작, 공개하고 있다고 한다. 라이온 창립자인 크리스토프 슈만은 데이터세트에 아동 성인물이 포함되어 있는 건 몰랐다며 이런 콘텐츠가 포함되어 있다는 게 확실하다면 곧바로 링크를 삭제할 것이라고 밝혔다.
스테이블디퓨전 최신 버전인 2.0은 LAION-5B에서 안전하지 않은 이미지를 필터링한 데이터로 학습하고 있기 때문에 사용자가 성적으로 노골적인 이미지 등을 생성하기 어렵다. 하지만 스테이블디퓨전 1.5는 성적으로 노골적인 콘텐츠 생성이 비교적 용이하며 이를 이용해 만들어진 콘텐츠가 인터넷상에서 전파되고 있다.
이에 대해 스태빌리티AI는 AI 악용 방지에 노력하고 CSAM 제작과 편집을 포함한 불법 행위에 스테이블디퓨전을 이용하는 걸 금지하고 있다고 밝혔다. 또 스테이블디퓨전 1.5는 스태빌리티AI가 개발한 게 아니라 스테이블디퓨전 오리지널 버전 제작에 협력한 AI 스타트업 런웨이(Runway)가 릴리스한 것이라고 설명했다. 런웨이는 스테이블디퓨전 1.5에 대해 스태빌리티AI와 공동으로 출시했다고 밝혔다.
스태빌리티AI 측은 사용자가 플랫폼에서 모델과 상호 작용할 때 안전하지 않은 프롬프트나 안전하지 않은 출력을 차단하기 위해 필터 기능을 구현하고 있다며 플랫폼에서 생성된 이미지를 식별하는데 도움이 되는 콘텐츠 라벨링 기능에 투자하고 있으며 이로 인해 악성 행위자가 AI를 악용하기 어렵다고 설명했다. 관련 내용은 이곳에서 확인할 수 있다.