구글과 MS, 오픈AI, robots.txt 한 줄로 AI 학습 거부하는 공통 신호 도입

구글과 마이크로소프트, 오픈AI가 10월 30일 robots.txt 한 줄로 여러 AI 기업에 한꺼번에 AI 학습 거부 의사를 전달할 수 있는 공통 신호를 지원하겠다고 밝혔습니다. 서치엔진저널이 11월 1일 보도한 이 신호는 '__usage_ai-training'이라는 값을 user-agent 자리에 적고 그 아래 Disallow와 Allow 규칙을 쓰는 방식으로, 기존 robots.txt 문법에 새 명령어를 추가한 게 아니라 있던 문법을 그대로 활용합니다. 다만 이 신호는 크롤링 자체를 막지는 않고, AI 학습에 쓰지 말아 달라는 의사만 전달합니다.

이 신호는 앤트로픽 직원인 케빈 켈리가 IETF AI 선호도 작업반에 제출한 초안에서 나온 것으로, 아직 공식 IETF 표준으로 채택된 상태는 아닙니다. 구글과 마이크로소프트, 오픈AI 세 회사 모두 현재는 이 신호를 실제로 반영하고 있지 않으며, 각자 다른 시점부터 적용하겠다고 밝혔습니다. 앤트로픽은 이번 발표에 이름을 올린 세 회사에는 포함되지 않았고, 켈리는 자사에서도 개발을 시작했지만 전체 서비스에 적용하기까지는 시간이 걸릴 거라고 밝혔습니다.

구글은 2027년 초부터 이 신호를 지원할 계획이라고 밝혔으며, 사이트가 이 신호만 쓰고 Google-Extended를 따로 언급하지 않으면 Google-Extended까지 거부한 것으로 해석하겠다고 설명했습니다. 이 규칙은 제미나이 앱의 그라운딩에도 함께 적용되며, AI 오버뷰와 AI 모드는 서치콘솔의 별도 생성형 AI 노출 설정을 그대로 씁니다. 오픈AI는 몇 달 안에 이 신호를 지원하겠다고 밝혔고, 그때까지는 기존 GPTBot 관련 정책이 그대로 유지됩니다.

마이크로소프트는 학습과 그라운딩에 대한 설정을 따로 나눠 관리하는 방식을 택했습니다. 12월 15일부터는 기존에 노아카이브나 노캐시 태그를 쓰던 사이트를 위해 빙 웹마스터 도구에 임시 그라운딩 설정이 추가되고, 내년 2월 1일부터 새 설정을 실제로 반영하기 시작해 3월 1일부터는 옛 태그를 더 이상 인식하지 않습니다. 이 시점까지 아무 설정도 하지 않은 페이지는 다시 크롤링될 때까지 그라운딩을 허용하는 상태로 남습니다.

한국에서는

지금 당장은 세 회사 중 누구도 이 공통 신호를 실제로 반영하고 있지 않으므로, Google-Extended나 GPTBot, ClaudeBot처럼 회사별로 따로 설정해 온 기존 규칙을 당장 지울 필요는 없습니다. 미리 '__usage_ai-training' 줄을 robots.txt에 추가해 둬도 손해는 아니지만, 기존 규칙과 함께 당분간 유지하면서 구글은 2027년 초, 오픈AI는 몇 달 안, 마이크로소프트는 내년 2월 1일이라는 각 회사의 적용 시점을 지켜보는 편이 안전합니다. 빙 웹마스터 도구를 쓰고 있고 노아카이브나 노캐시 태그를 걸어 둔 사이트라면, 12월 15일 업데이트와 내년 3월 1일 마감일을 특히 챙겨 둘 만합니다.

원문: Search Engine Journal, 2026년 11월 1일. 확인일 2026년 11월 2일. 원문 보기