오픈AI, AI 생성 이미지 구분하는 도구 개발중

오픈AI는 5월 7일 디지털 콘텐츠 출처를 추적하는 기술 표준화 단체인 C2PA(Coalition for Content Provenance and Authenticity)에 참여했다고 발표했다. 어도비, 마이크로소프트, 구글 등에 이어 C2PA 운영에 합류한 오픈AI는 앞으로 전자 워터마크, AI 이미지 검지 도구 같은 기술 구현에 주력할 것이라고 밝혔다.

오픈AI는 2월부터 이미지 생성 AI 달리3(DALL-E 3)이 만든 이미지에 C2PA 식별자를 삽입하기 시작했다. 이어 이번에 공식적으로 C2PA에 참여한 오픈AI는 디지털 콘텐츠 출처 위조에 대한 내성을 높이고 콘텐츠 완전성을 강화하는 새로운 출처 증명 기술을 개발할 것이라고 발표했다. 구체적으론 디지털 콘텐츠에 제거하기 어렵고 눈에 보이지 않는 마크를 넣는 위조 방지 전자 워터마크와 해당 콘텐츠가 생성형 모델로 만들어졌는지 AI가 평가하는 검출 분류기 등이 있다.

이 노력 일환으로 오픈AI는 5월 7일부터 연구기관을 대상으로 달리 검출 분류기를 배포하는 테스터 프로그램 신청 접수를 시작했다. 달리 검출 분류기는 이미지가 달리 3에서 비롯된 것일 가능성을 측정하는 도구로 API 형태로 배포될 예정이다. 내부 검증 결과 달리 3으로 만든 이미지 98%를 식별했고 AI로 생성되지 않은 이미지 오검지율은 0.5% 미만이었다고 한다.

오픈AI는 이 프로그램을 통해 달리 검출 분류기 효과와 실제 사용 사례에서의 실효성을 검증하고 AI 생성 콘텐츠에 대한 이해를 높이며 책임감 있는 AI 사용에 필요한 사항을 철저히 평가할 계획이다.

또 오픈AI는 콘텐츠 생성자가 AI 트레이닝을 옵트아웃할 수 있게 해주는 미디어 매니저 도구를 개발 중이라고 보도되고 있다. 이 도구를 사용하면 생성자와 소유자가 자신의 작품을 명시하고 AI 연구나 학습에 사용할지 여부를 지정할 수 있다고 한다. 미디어 매니저는 2025년까지 출시 예정이다. 관련 내용은 이곳에서 확인할 수 있다.