자바스크립트로 넣은 링크, AI 크롤러는 거의 찾지 못했다는 41일 실험

로코모티브의 SEO 부문 책임자 비니시우스 스타눌라가 자신이 운영하는 브라질 업종 분류 디렉터리 사이트로 41일간 실험한 결과, 자바스크립트로 주입한 링크는 AI 크롤러 대부분이 찾아내지 못하는 것으로 나타났습니다.

이 사이트는 약 2,400개 페이지로 이뤄져 있고, 그중 상위 21개 구간과 그 아래 하위 분류로 연결되는 1,062개 페이지를 실험 대상으로 삼았습니다. 11개 구간은 원본 HTML에 하위 페이지로 이어지는 링크를 그대로 넣었고(748개 페이지), 10개 구간은 페이지가 열린 뒤 자바스크립트가 링크를 주입하도록 만들었습니다(293개 페이지). 사이트맵은 404로 막고 이동경로(브레드크럼)와 계층 패널도 지워, 다른 경로로는 못 찾게 했습니다.

서버 로그에는 구글봇과 구글아더, 오픈AI의 GPTBot과 OAI서치봇, 앤트로픽의 클로드봇, 빙봇, 메타외부에이전트, 아마존봇, 챗GPT유저, 퍼플렉시티봇의 접속 기록을 남겼습니다.

실험 27일째까지 자바스크립트로 주입한 293개 페이지 가운데 구글봇은 7개(2%), 구글아더는 142개(48%)를 찾았습니다. 반면 GPTBot과 클로드봇, 메타외부에이전트, 아마존봇은 단 한 개도 찾지 못했고(0%), 빙봇도 3개(1%)에 그쳤습니다. 원본 HTML에 넣은 748개 페이지에서는 결과가 정반대로 나타났습니다. GPTBot과 클로드봇은 748개 전부(100%)를 찾았고, 구글아더는 495개(66%), 구글봇은 35개(5%)를 찾는 데 그쳤습니다.

스타눌라는 "자바스크립트를 실행해 주입된 링크까지 따라간 곳은 구글뿐이었지만, 그 작업의 대부분은 실제 검색 색인을 만드는 구글봇이 아니라 구글아더가 한 것"이라고 정리했습니다.

실험 27일째부터는 자바스크립트 구간의 링크를 원본 HTML로 바꿔봤습니다. 그러자 GPTBot은 이틀 만에 그동안 못 찾던 페이지 250개를 훑어 갔고, 빙봇도 일주일 안에 212개를 추가로 찾아냈습니다. 메타외부에이전트는 41일째가 돼서야 체계적으로 크롤링을 시작했습니다. 반면 클로드봇은 기존에 찾은 페이지만 다시 돌았을 뿐 새 페이지는 하나도 찾지 못했고, 아마존봇은 전환 시점 이전에 이미 이 사이트를 떠난 상태였습니다. 구글 쪽 크롤러도 큰 변화가 없어, 41일째까지 구글봇이 전환된 구간에서 새로 찾은 페이지는 1개뿐이었습니다.

스타눌라는 "구글이 자바스크립트를 렌더링한다"는 통념이 절반만 맞는 이야기라며, "렌더링은 일어났지만, 실제 검색에 쓰이는 크롤러가 자바스크립트로 넣은 페이지에 도달한 비율은 2%에 그쳤다"고 지적했습니다. 그는 사이트 운영자들에게 원본 HTML에 실제로 무엇이 들어 있는지부터 점검하고(자바스크립트를 꺼둔 채 주요 경로를 클릭해 보거나 원본 소스와 렌더링된 DOM을 비교), 링크만큼은 서버 쪽에서 미리 렌더링하는 방식을 우선하라고 권했습니다. 문제를 고칠수록 회복은 빨랐다는 점도 덧붙였습니다. GPTBot은 전환 후 48시간 안에, 빙봇은 일주일 안에 다시 훑고 갔습니다.

한국에서는

이 실험은 브라질의 디렉터리형 사이트 한 곳을 대상으로 한 결과이고, 사이트 구조나 봇의 접속 빈도는 사이트마다 다를 수 있어 그대로 일반화하기는 어렵습니다. 다만 실험에 등장한 봇 이름(GPTBot, OAI서치봇, 클로드봇, 퍼플렉시티봇 등)은 국내 사이트의 서버 접속 로그에서도 그대로 확인할 수 있어, 자사 사이트의 카테고리·상세 페이지 링크가 원본 HTML에 있는지, 로그에 각 봇이 실제로 찍히는지는 직접 열어봐야 알 수 있습니다.

원문: Search Engine Land, 2026년 8월 19일 게시(비니시우스 스타눌라 작성). 확인일 2026년 9월 20일. 원문 보기