오픈소스 검색엔진, 사용자 99% 이상 스팸봇?

주요 검색엔진이 SEO 스팸에 휩싸인 가운데 개인 사이트 등을 검색하기 위한 오픈소스 검색엔진이 바로 서치마이사이트(searchmysite.net)다. 서치마이사이트 공식 블로그가 자사 사용자 중 검색엔진 최적화 SEO 스팸봇이 99.9% 이상을 차지했다고 보고했다.

서치마이사이트는 2020년경 시작된 검색엔진. 주요 검색엔진에선 SEO 스팸에 의해 개인 사이트가 검색 상위에서 밀려 버려 도달하기 어려운 상황이다. 따라서 커뮤니티 중심 큐레이션 등을 도입하거나 SEO 스팸 인센티브를 줄이기 위해 광고가 포함된 페이지 검색 순위를 크게 낮추면서 서치마이사이트는 다양한 방법을 도입했다고 한다.

하지만 문제가 되는 건 스팸봇이다. 이는 검색엔진에서 특정 사이트에 액세스해 검색 순위를 높이는 스팸봇이며 프로그래밍된 대로 검색엔진에 액세스한다.

2022년 5월 1∼11일까지 11일간 서치마이사이트 사용자 수를 보면 스팸봇 비율이 99.9%를 넘겼고 5월 11일에는 100%가 됐다.

서치마이사이트에 따르면 사용자 수가 2022년 4월 중순부터 극적으로 증가했다고 한다. 서치마이사이트에선 오리지널 애널리틱스 시스템을 도입하고 있지만 이 방법에선 인간 사용자 밖에 표시되지 않고 비정상적인 활동은 서버 로그를 확인하지 않으면 인식할 수 없었다고 한다.

서치마이사이트에 따르면 처음에는 몇몇 인간 사용자 대부분이 소셜 뉴스 사이트 해커뉴스 같은 링크로 서치마이사이트를 방문하고 있으며 다른 검색엔진으로부터 트래픽은 거의 없다고 한다. 다시 말해 갑자기 증가한 사용자는 봇일 가능성이 높다고 할 수 있는 것.

따라서 서버 로그를 보면 IP 주소와 사용자 에이전트, 검색 쿼리가 전부 다르며 처음에는 다른 검색엔진이 결과를 스크래핑하고 있는지 혹은 디도스 공격을 받는 게 아닐까 생각했다. 하지만 자세히 살펴보면 대부분 검색어가 일정 패턴을 따르는 것으로 밝혀졌으며 블랙햇 SEO용 스팸봇 작업이라는 걸 알게 됐다.

서치마이사이트는 음모론에 동의하지 않지만 죽음의 인터넷 이론에는 몇 가지 진실이 있다고 생각할 수밖에 없다고 말한다. 죽음의 인터넷 이론이란 인터넷은 이제 공허하고 현실적인 인간이 없다는 생각이며 봇이 봇과 대화해 콘텐츠와 클릭을 생성하고 중요한 건 모두 봇에 의해 공유되고 계속해서 성장하는 광고 수익 점유율을 봇이 획득하고 있지만 현실은 아직 여기까지 도달하지 못했을 수 있다. 하지만 이런 사람을 연결하려는 프로젝트가 의도하지 않은 부정적 결과를 초래했다는 점에는 우려가 나온다. 관련 내용은 이곳에서 확인할 수 있다.