구글은 전 세계에서 가장 많은 사용자가 이용하는 검색엔진이다. 인터넷에서 효율적으로 정보를 검색하게 하려면 검색엔진 최적화, SEO가 필수다. 하지만 구글 검색 알고리즘은 블랙 햇(black hat) SEO가 문제가 되고 있다. 이런 블랙 햇 SEO 중 하나인 PBN(A private blog network)은 어떤 것일까.
구글 검색엔진은 스탠포드대학 박사 과정에 재학하던 래리 페이지와 세르게이 브린이 연구 프로젝트 일환으로 1996년 시작했다. 당시까지의 검색엔진은 검색어와 일치하는 단어나 문구가 웹사이트에 등장하는 빈도를 검색 결과에 평가하는 구조였다. 하지만 구글은 웹사이트간의 관계를 분석하고 평가를 평가하는 페이지랭크를 채택했다. 페이지랭크는 웹사이트 인기도나 중요도를 검색 결과에 반영할 수 있도록 해 구글은 주목 받는 일정 품질 이상 웹사이트를 검색 순위 상위에 표시한다. 20년 이상이 지난 구글 검색엔진은 2019년 6월 기준으로 92.62%에 달하는 점유율을 차지하고 있다.
PBN은 언뜻 보면 제대로 된 블로그처럼 보인다. 홍보하고 싶은 페이지 링크를 묻는 사이트 모음의 수다. 단순히 대량으로 링크를 나란히 그냥 링크해둔 것과 달리 PBN은 특정 주제에 특화된 기사 콘텐츠를 갖고 있다. PBN은 다른 웹사이트에서 링크를 늘리면 검색 순위 상위에 오르기 숩게 된다. 페이지랭크 특성을 역수로 취하고 여러 사이트에서 링크를 붙여 대는 것으로 억지로 검색 순위를 올리려 하는 것이다.
블랙햇 SEO 기업은 PBN에 해당하는 사이트 수천 개가 영업 중이며 링크 하나에 수백만원씩 가격을 매겨 이익을 낸다고 한다. 이런 사이트가 증가하면서 구글 검색엔진은 원하는 정보를 검색할 수 있다는 원래 역할을 수행할 수 없게 될 수 있다.
구글이나 페이스북이 뛰어난 광고 매체로 성장 중인 가운데 사라지는 미디어도 다수 존재한다. 미디어가 폐업을 하면 등록했던 도메인도 만료되어 다시 살 수 있게 된다. 삭제된 도메인 중에는 링크 자체에 큰 가치가 있는 것도 있다. 악덕업자가 이런 도메인을 즉시 구입해 콘텐츠를 대체해 자신이 홍보하려는 사이트에 대한 링크를 넣을 수 있다.
검색 순위 상위에 오르려면 링크 뿐 아니라 사이트 내 콘텐츠 충실도도 중요한 요소다. 블로그 텍스트는 저렴한 가격에 누구에게나 써달라고 할 수 있다. 또 AI를 이용한 도구로 문서를 돌리는 것도 가능하다. 또 일부 PBN 사이트에선 자동 생성 문서를 수동으로 조정해 가독성과 개성을 곁들이는 연구도 진행하고 있다고 한다.
구글은 2011년부터 PBN을 단속하려는 움직임을 보이고 있다. 2014년에는 구글이 PBN으로 의심되는 사이트에 경고 이메일을 보내고 검색 인덱스에서 제거했다는 보도도 나왔다. 하지만 PBN 쪽에서도 구글의 모니터링에서 빠져나가기 위한 다양한 기술을 짜내고 있어 다람쥐 쳇바퀴 도는 상황이 생기고 있다. 이론적으론 PBN을 완전히 찾지 못하고 따라서 전체 검색 결과에서 빼는 것도 상당히 어려운 일이다.
구글이 할 수 있는 건 사이트 감지 방식을 끌어올리는 것이다. AI를 이용한 콘텐츠 생성 도구와 새로운 사이트를 몇 분 안에 만들 수 있는 노하우가 등장하고 블랙 햇 SEO 기업이 구글을 몇 년 간에 피해온 점을 감안하면 앞으로도 구글이 이를 모두 제거하는 건 어려운 일이 될 가능성이 높다. 관련 내용은 이곳에서 확인할 수 있다.