정용환 기자
AI 모델 개발에는 대량 데이터가 필요하지만 책이나 논문, 웹사이트 등에서 콘텐츠가 무단으로 활용되는 경우가 대부분이다. 이런 상황에 대응하기 위해 클라우드 컴퓨팅 기업 클라우드플레어(Cloudflare)는 AI 기업 크롤러로부터 콘텐츠 제작자 통제권을 되찾기 위한 도구를 연이어 공개해왔다. 대표적으로, 악의적인 봇을 미로에 가둬 행동을 차단하는 AI 레버린스(AI Labyrinth)와 AI 학습용 크롤러를 분석하고 제어할 수 있는 AI 오딧(AI Audit) 등이 있다.
이어 7월 클라우드플레어는 콘텐츠 제작자가 AI 기업에 자신의 콘텐츠를 제공하고 대가를 받을 수 있도록 하는 새로운 형태 마켓플레이스인 페이 퍼 크롤(Pay per Crawl)을 발표했다. 웹사이트 운영자가 AI 크롤러의 접근에 대해 요금을 부과하거나 차단할 수 있는 수단을 공식적으로 제공한 것.
최근 구글 검색에 AI가 생성한 요약 정보가 함께 표시되면서 사용자가 웹사이트를 직접 방문하지 않고 요약 정보만으로 내용을 파악하는 사례가 늘고 있다. 이에 따라 웹사이트 방문자 수는 급감하고 있으며 클라우드플레어 CEO 매튜 프린스는 이 현상을 두고 퍼블리셔가 실존적인 위기에 직면했다고 평가하며 구글이 트래픽을 보내는 대신 콘텐츠를 가져가는 기존 교환 모델은 더 이상 유효하지 않다고 지적했다.
클라우드플레어는 2024년부터 AI 크롤러의 급증에 대응해 퍼블리셔 보호용 도구를 순차적으로 선보여 왔다. 프린스 CEO는 2024년 인터뷰에서 이들 도구가 콘텐츠 제작자가 AI 기업에 콘텐츠를 제공하고 보상을 받을 수 있는 새로운 시장 기반을 마련하고 있다고 밝힌 바 있다.
이런 맥락에서 클라우드플레어가 7월 1일 발표한 게 바로 페이 퍼 크롤이다.
페이 퍼 크롤은 기존 웹 인프라와 통합되며 HTTP 상태 코드와 인증 메커니즘을 활용해 유료 콘텐츠 접근 프레임워크를 구성한다. 이를 통해 도메인 소유자는 AI 크롤러 요청에 대해 무료 접근 허용, 도메인 전체에 요금 설정 후 접근 허용, 요금 없이 접근 전면 차단의 세 가지 옵션 중에서 선택할 수 있다.
AI 크롤러가 웹사이트에 접근을 시도하면 해당 요청은 클라우드플레어 AI 오딧과 웹 애플리케이션 방화벽(WAF)을 거쳐 검사된다. 위반 행위가 감지되면 접근이 차단되며 적절한 요청은 페이 퍼 크롤 설정에 따라 콘텐츠에 접근할 수 있다.
클라우드플레어는 이 시스템에 대해 많은 웹사이트 운영자가 콘텐츠를 AI에 전면 공개하거나 아예 막는 양자택일을 강요받고 있다며 누가 자신의 콘텐츠에 접근할 수 있는지를 창작자가 직접 결정할 수 있어야 한다는 단순한 철학에서 출발했다고 설명했다. 또 보도기관, 퍼블리셔, 대형 소셜미디어 플랫폼과 수백 차례 논의한 결과 AI 크롤러에게 접근은 허용하되 보상을 받고 싶다는 공통 요구를 확인할 수 있었다고 밝혔다. 이에 따라 클라우드플레어는 전면 차단이나 무상 개방이 아닌, 인터넷 규모로 콘텐츠를 수익화할 수 있는 유연한 제3의 선택지를 제시하고자 한다고 강조했다.
페이 퍼 크롤은 AI 크롤러에게 요금을 부과하거나 접근을 제한할 수 있는 수익화 플랫폼으로 사이트 트래픽을 줄일 수 있는 크롤러에 대응하는 새로운 방식을 제공한다. 프린스 CEO는 발표에 맞춰 원본 콘텐츠야말로 인터넷을 20세기 위대한 발명 중 하나로 만든 핵심이라며 이를 보호하기 위해 힘을 모아야 하며 AI 크롤러는 콘텐츠를 제한 없이 수집해왔다고 밝혔다. 이어 자사 목표는 AI 기업 혁신을 지원하면서도 창작자 권리를 회복시키는 것이라고 밝혔다. 그는 이번 발표를 콘텐츠 독립기념일이라고 명명했다. 관련 내용은 이곳에서 확인할 수 있다.
이석원 기자
이원영 기자
