학습 봇은 막고 답변 봇은 푼다, AI 크롤러 차단 실태

Cloudflare 네트워크의 상위 도메인 표본에서 robots.txt 파일을 모아 AI 봇별 차단·허용 비율을 조사한 결과가 나왔습니다. 테크놀로지체커에 따르면 2026년 8월 31일 기준으로 GPTBot은 차단 대 허용이 696대 299건으로 비율이 2.33대 1이었습니다. 클로드봇도 619대 259건으로 2.39대 1이 나와, 모델 학습용 크롤러는 허용보다 차단이 뚜렷하게 많았습니다.

반면 검색 답변에 쓰이는 OAI서치봇은 250대 266건으로 비율이 0.94대 1이 되어 허용이 차단을 앞섰습니다. 구글봇도 307대 277건으로 1.11대 1에 그쳐 비교적 균형에 가까웠습니다.

원문은 이 결과를 "발행사들은 'AI'를 막는 게 아니라 학습은 막고 답변은 허용하고 있고, 같은 회사를 상대로도 그렇게 한다"고 정리합니다. 이렇게 나누는 근거는 봇이 크롤링한 페이지 수에 비해 실제 방문으로 얼마나 이어지느냐입니다.

오픈AI의 GPTBot은 2026년 1분기에 방문 1건으로 이어질 때마다 페이지 1,255개를 가져갔습니다. 같은 회사의 OAI서치봇은 크롤링한 만큼 실제 방문으로도 꾸준히 이어졌습니다.

원문 기준으로 이 비율이 2.0대 1을 넘으면 학습이나 학습 거부용 봇이고, 1.2대 1 아래면 검색·답변용 봇으로 분류됩니다. 시간에 따른 변화도 확인됩니다. 앤트로픽은 2026년 1분기 방문 1건당 20,583페이지를 크롤링했는데, 7월에는 1,917대 1로 개선됐고 8월 말에도 비슷한 수준을 유지했습니다.

오픈AI의 GPTBot 역시 1분기 1,255대 1에서 7월 251대 1로 좋아졌습니다. 반면 메타외부에이전트는 방문으로 이어진 사례가 여전히 0건입니다. 이런 흐름 속에 AI 크롤러 트래픽 중 학습 목적 비중은 2026년 1분기 89.4%에서 8월 40.15%로 낮아졌습니다.

업종별로는 소매업이 AI 크롤링 트래픽의 28.1%를 차지해 가장 많이 크롤링되면서도 선별적으로 차단하는 편입니다. 언론·미디어 업종은 크롤링 비중이 2.7%로 낮은데도 가장 공격적으로 차단하는 쪽으로 나타났습니다. 기술 업종 도메인 중 910곳은 robots.txt에 AI 전용 차단 규칙을 따로 넣었습니다.

한국에서는

이 조사는 Cloudflare 상위 도메인 표본을 대상으로 했고, 한국 사이트만 따로 뗀 수치는 원문에 없습니다. 국내 매체나 쇼핑몰을 운영한다면 robots.txt에서 GPTBot, 클로드봇 같은 학습용 봇과 OAI서치봇, 퍼플렉시티봇 같은 답변용 봇을 각각 어떻게 다루고 있는지 직접 파일을 열어 확인하는 방법으로만 알 수 있습니다.

원문은 발행사에게 크롤링한 양 대비 방문 유입 비율이 1,000대 1을 넘는 봇은 차단하고 200대 1 아래인 봇은 허용하라고 권합니다. robots.txt는 봇이 자율로 따르는 규약이라 실제로 접근을 막으려면 방화벽 규칙이 별도로 필요하다는 설명도 덧붙입니다.

원문: TechnologyChecker.io, 2026년 9월 3일 갱신(데이터 기준일 2026년 8월 31일). 확인일 2026년 9월 18일. 원문 보기