레딧(Reddit) 스티브 허프만 CEO가 마이크로소프트와 앤트로픽, 퍼플렉시티를 차단하는 게 귀찮아서 사실 하고 싶지 않다고 밝히며 협상이 합의에 이르지 못한 사실을 공개했다.
AI 개발 기업은 자사 AI 학습에 사용할 데이터를 수집하기 위해 인터넷에서 크롤러를 이용한다. 레딧은 지난 2월 구글과 자사 콘텐츠를 AI 학습에 이용하는 걸 허락하는 라이선스 계약을 체결했다. 이 계약은 연간 6,000만 달러 규모로 알려져 있다.
이 계약 영향으로 2024년 7월 하순부터 구글 이외 검색 엔진이 레딧 콘텐츠를 가져가는 걸 차단하고 있다.
이에 대해 한 인터뷰에서 허프만 CEO는 계약이 없다면 자사는 데이터가 어떻게 표시되고 무엇에 사용되는지에 대해 아무런 지식도 발언권도 얻지 못한다며 따라서 데이터가 어떻게 사용되는지 또는 사용되지 않도록 합의하지 않은 사람을 차단할 입장을 취하고 있다고 밝혔다.
허프만 CEO는 차단하는 건 정말 귀찮은 작업이라며 마이크로소프트, 앤트로픽, 퍼플렉시티 3곳을 구체적으로 비판했다.
허프만 CEO에 따르면 마이크로소프트는 레딧 데이터를 사용해 AI를 트레이닝하고 빙(Bing) 검색 결과에 레딧 요약을 몰래 표시하고 있었다. 또 데이터는 빙 API를 통해 다른 검색 엔진에 판매되고 있었다. 마이크로소프트 AI 책임자인 무스타파 슬레이만은 과거 오픈 웹상의 콘텐츠는 프리웨어라는 생각을 밝힌 바 있다.
한편 앤트로픽 측은 레딧은 2024년 5월 중순부터 웹 크롤링 차단 목록에 포함되어 있었고 이후로 레딧 URL은 크롤러에 추가하지 않았다며 자사는 웹 업계가 크롤링을 차단할 의사를 보이기 위한 robots.txt를 존중한다고 밝혔다. 관련 내용은 이곳에서 확인할 수 있다.