정용환 기자
뉴스 매체 씨넷은 기사 작성에 AI를 빠르게 도입하거나 AI 도입 후 대규모 인력 감축에[ 나서는 등 대담한 개혁을 진행하고 있다. 새롭게 구글 검색에서 게재 순위를 높이기 위해 오래된 기사를 대량 삭제했다고 한다. 반면 구글은 이전 기사를 삭제해도 검색 순위에 영향을 미치지 않는다고 반박했다.
씨넷은 1994년 설립된 뉴스 매체로 엄청난 기사 수를 공개하고 있다. 하지만 2023년 들어 수천 개에 달하는 오래된 기사가 삭제됐다고 한다. 씨넷이 공유한 내부 문서에 따르면 기사 삭제는 구글에 씨넷에는 신선한 정보가 많아 구글 검색 결과로 타사 사이트보다 상위에 표시할 가치가 있다는 걸 알리기 위해 실시되고 있다고 한다. 또 삭제 대상 기사는 공개연도, 액세스 수, 기사 길이, 구글에 의한 크롤링 빈도 등 파라미터를 참고해 선택했다고 한다.
씨넷에 구글 검색에서 순위 향상을 목표로 기사 삭제를 진행하는 반면 구글은 자사가 이전 콘텐츠를 좋아하지 않는다고 생각하고 콘텐츠를 삭제하지만 그렇지 않다며 오히려 이전 콘텐츠를 삭제하지 않는 게 좋으며 오래된 콘텐츠는 여전히 유용할 수 있다고 밝혔다.
하지만 구글 크롤링 관련 공식 문서에는 구글봇이 한 사이트를 크롤링할 수 있는 시간에는 한계가 있다며 크롤링을 방해로 이어질 수 있다고 밝히고 있다. 이 때문에 씨넷 기사 삭제 대응은 구글 검색 상위를 목표로 하는 목적과 일치할 수도 있다. 덧붙여 씨넷은 인터넷 아카이브가 제공하는 API를 통해 삭제한 기사를 웨이백머신상에 아카이브하고 있다. 관련 내용은 이곳에서 확인할 수 있다.
이원영 기자
이석원 기자
