구글 AI 개발 부문인 구글 딥마인드(Google DeepMind)가 AI 생성 텍스트에 워터마크를 삽입하는 신스ID(SynthID) 텍스트를 오픈소스화한다고 발표했다.
신스ID는 AI 생성 콘텐츠에 워터마크를 삽입해 AI 생성 콘텐츠인지 여부를 식별하는 도구다. 신스ID로 이미지에 추가되는 워터마크는 사람 눈으로는 식별할 수 없도록 되어 있어서 이미지상으로는 변화가 없다. 또 워터마크는 이미지 픽셀에 내장되어 있어 이미지에 필터를 적용하거나 색감을 변경하거나 트리밍하거나 압축해도 그대로 유지가 가능하다.
신스ID는 처음에는 이미지에서만 사용할 수 있는 워터마크였지만 지난 5월에는 텍스트와 동영상에도 적용 가능하게 됐다.
이런 신스ID의 AI 생성 텍스트 식별 도구인 신스ID 텍스트를 오픈소스화해 누구나 무료로 AI 생성 텍스트를 식별할 수 있게 된다는 것.
신스ID는 AI 생성 콘텐츠에 워터마크를 삽입하기 위해 다양한 딥러닝 모델과 알고리즘을 사용하며 원본 콘텐츠를 손상시키지 않고 워터마크를 직접 내장한다. AI 생성 콘텐츠인지 여부를 식별할 때는 이미지·음성·텍스트·동영상을 스캔해 워터마크를 감지, 콘텐츠 전체 또는 일부가 구글 AI 도구에 의해 생성됐는지 여부를 사용자가 판단할 수 있도록 한다.
Today, we’re open-sourcing our SynthID text watermarking tool through an updated Responsible Generative AI Toolkit.
— Google DeepMind (@GoogleDeepMind) October 23, 2024
Available freely to developers and businesses, it will help them identify their AI-generated content. 🔍
Find out more → https://t.co/n2aYoeJXqn pic.twitter.com/4uRKYaz57Y
이미지 및 동영상에서는 픽셀에 사람 눈에는 보이지 않는 워터마크를 추가하지만 텍스트의 경우에는 텍스트에 포함된 단어가 워터마크로 기능하다. 대규모 언어 모델(LLM) 정보 처리 단위인 토큰은 단일 문자, 단어, 구문 일부를 나타낸다. 일관성 있는 텍스트 시퀀스를 생성하기 위해 LLM은 다음에 생성될 가능성이 가장 높은 토큰을 예측하며 이 예측은 이전 단어와 각 잠재적 토큰에 확률 점수로 할당된다.
예를 들어 자신이 좋아하는 열대 과일은 ○○라는 구문의 경우 LLM은 ○○ 부분에 망고, 리치, 파파야, 두리안 등 토큰을 할당해 문장을 완성한다. 각 토큰에는 확률 점수가 부여되어 있으며 선택할 수 있는 토큰이 여러 개인 경우 신스ID는 출력 품질, 정확도, 창의성이 손상되지 않는 한 예측된 각 토큰 확률 점수를 조정할 수 있다.
이 프로세스는 생성된 텍스트 전체에서 반복되므로 한 문장에 10개 이상 조정된 확률 점수가 포함될 수 있으며 한 페이지당 조정된 확률 점수 수백 개가 포함되는 경우도 있다. 따라서 신스ID는 모델 단어 선택과 조정된 확률 점수를 조합한 최종적인 점수 패턴을 AI 생성 텍스트 워터마크로 간주한다. 이 방법은 텍스트가 길어질수록 견고성과 정확도가 향상된다고 한다.
신스ID 텍스트에 워터마크를 삽입하는 기술은 10월 23일 네이처에서 연구 논문으로 발표됐으며 더 안전한 AI 애플리케이션을 만들기 위한 가이드라인 및 필수 도구(Responsible Generative AI Toolkit)를 통해 오픈소스 도구로 제공된다고 발표됐다. 신스ID 텍스트는 허깅페이스에서도 공개되어 있다. 관련 내용은 이곳에서 확인할 수 있다.