제너레이티브AI와 워터마크

하니 패리드(Hany Farid) UC버클리 컴퓨터사이언스 교수는 AI가 만들어내는 이미지는 해마다 리얼해지고 있어 진짜인지 구별하는 건 거의 불가능하다며 제작자 측이 가짜라는 걸 알려줄 만한 사인을 붙일 필요가 있다고 말한다.

얼마 전 트럼프 전 대통령이 기소됐다는 소문이 나오자 곧 그가 체포되는 순간 이미지가 나돌았다. 이미지 생성 AI로 만든 가짜 이미지였다. 이미 달리나 미드저니, 스테이블 디퓨전 같은 이미지 생성 AI나 바드, 챗GPT, 친칠라, LLaMA 등 텍스트 생성 AI가 빠르게 퍼지고 있다. 머신러닝 알고리즘과 인간이 만들어낸 수십억 건에 달하는 콘텐츠를 더하면 이 시스템은 뭐든 만들어낼 수 있다. 캡션 하나로 리얼한 이미지를 만들거나 바이든 대통령 연설 영상 목소리를 다른 목소리로 바꾸고 제목 하나만 던져도 800자 논설을 써낼 수도 있다.

아직 초기 단계지만 이미지 생성 AI는 현실적인 콘텐츠를 만들어낸다. 영상이나 음성에는 아직 위화감이 존재하지만 이 역시 시간 문제다. 이런 문제를 넘어서면 현실 왜곡은 너무나도 간단해질 것이다.

이런 새로운 세계에서 한 기업 CEO가 이익이 20% 줄었다고 말하는 영상을 만드는 시장 조작이나 국가 수반이 무력 행사를 시사하는 발언 영상을 만들어 정치에 영향을 주고 누군가 좋아하는 사람에 대한 성적 콘텐츠를 만들어낼 수도 있다. 누구나 현실에 존재하는 사람으로 가짜 영상을 만들 수도 있는 것.

제너레이티브 AI 진화는 외형만 리얼한 가짜 콘텐츠가 인터넷으로 급증하는 걸 의미하며 정보 생태계는 지금까지 이상으로 혼란을 극복하게 된다. AI 반대파는 경찰 증거에서 인권 침해, 정치인이 극비 정보를 잡는 영상 등 실제 리얼한 증거조차 안이하게 가짜라고 부정하게 될 것이다.

제너레이티브 AI 시대는 아직 시작 단계지만 악용되지 않기 위한 적절하고 실현 가능한 방법은 있다고 말한다. 이미지 감식을 전문으로 다루는 그가 키로 말하는 건 워터미크다. 진짜라는 증거로 소유자를 나타내는 것으로 또 가짜에 대한 대책으로 워터마크 역사는 길다. 게티이미지가 소유한 카탈로그 모든 디지털 이미지에 워터마크를 붙이고 있다. 이에 따라 사용자는 자유롭게 이미지를 볼 수 있고 게티이미지는 자산을 지킬 수 있다.

숨겨진 디지털 워터마크는 디지털 저작권 관리에도 활용된다. 예를 들어 디지털 이미지 하나에 10픽셀마다 색상을 바꾼다. 너무 사소한 변화로 보통 깨닫지 못하기 때문에 숨겨진 디지털 워터마크 역할을 한다. 색 변화가 주기 패턴이며 자연스럽게 발생하는 건 거의 불가능하기 때문에 오리지널 이미지를 구별하는 키가 된다.

중화질이라도 수백만 픽셀이 있는 만큼 여기에 워터마크를 심을 수 있다. 음성 데이터나 영상에도 추가가 가능하다. 이상적인 워터마크는 쉽게 깨닫지 못하면서 간단한 복사로는 망가져 버리지 않는 것이다. 앞서 언급한 픽셀 변경은 명도가 바뀌기 때문에 견고하다고는 할 수 없지만 그럼에도 워터마크를 제거하려는 대책으로 삼을 수 있다.

학습 데이터 모두에 워터마크를 붙여 생상한 콘텐츠에도 워터마크를 붙이면 제너레이티브 AI 시스템에도 워터마크를 도입할 수 있다. 제너레이티브 AI 워터마크는 이미지 생성 단계에 워터마크가 벗어날 우려가 없다. 물론 스테이뷸 디퓨전에도 워터마크 기능은 있지만 오픈소스이기 때문에 누구나 쉽게 이 코드를 제거해버릴 수 있다. 오픈AI는 챗GPT 제품에 워터마크를 붙이는 시스템을 실험 중이다. 물론 문장 문자를 이미지 픽셀처럼 바꾸는 건 불가능하기 때문에 다른 방법을 접목할 것이다.

텍스트 기반 제너레이티브 AI는 해당 문장 다음에 가장 적절한 말을 내는 게 기본이다. 이런 단어는 문장에서 다음에 나올 가능성, 확률을 학습으로 대량 텍스트 데이터에서 학습한다. 생성된 텍스트 워터마크는 단어 하위 그룹을 비밀리에 태그로 지정하고 동의어로 태그가 지정된 단어 선택을 고의적으로 편향시켜 가능해진다. 이 방법은 트위터 같은 단문에는 이용할 수 없지만 800자 이상 문장이라면 효과적일 것이다.

제너레이티브 AI 시스템이 생성하는 콘텐츠에는 워터마크를 붙여야 한다. 이렇게 해야 식별도 필요에 따라 개입도 용이하게 된다. 만일 업계가 이를 자발적으로 이행하지 않으면 의회가 이를 의무화하는 규제를 마련해야 할 수 있다. 애플이나 구글, 아마존, 마이크로소프트 등 게이트키퍼 역할을 하는 기술 기업이 기준을 충족하지 않는 걸 배제하면 피해를 대폭 줄일 수 있을 것이다.

물론 이 문제는 반대로 생각해볼 수도 있다. 다시 말해 진짜 콘텐츠에 미리 워터마크를 붙여두는 것이다. 전용 카메라 앱을 이용하면 녹화할 때 암호화된 서명을 콘텐츠에 채울 수 있다. 이 서명은 변조하려는 증거를 남기지 않은 채 변조하는 게 불가능하다. 결과적으로 이 서명이 있는 콘텐츠는 진짜 신뢰할 수 있는 것이라는 증거가 된다.

텍스트로는 이용할 수 없지만 음성이나 영상 콘텐츠는 인간이 만든 것인지를 확인할 수 있다. C2PA(Coalition for Content Provenance and Authentication)에선 진짜 미디어를 위한 기준 만들기를 실시하고 있으며 최근 이를 지원하는 오픈 사양을 선보였다. 어도비나 마이크로소프트, BBC 같은 대기업이 참여하고 있어 C2PA는 효과적이고 널리 보급될 수 있는 인증 기술 개발에 임하는 적절한 위치에 있다고 할 수 있다.

인간이 만든 콘텐츠와 제너레이티브 AI에 의한 콘텐츠 서명과 워터마크를 조합하면 모든 콘텐츠 남용을 막고 일정한 보호를 제공할 수도 있다. 물론 최신 기술을 누군가 돌파할 때마다 이런 안전책은 항상 업데이트되어야 한다. 사회가 스팸이나 악성코드, 피싱 사기 등 사이버 공격과 오랫동안 싸워왔듯 제너레티이브 AI 시스템 남용에서 지키기 위해 오랜 싸움을 대비할 필요가 있다. 관련 내용은 이곳에서 확인할 수 있다.