AI 학습 거부 신호 공용화, robots.txt는 지금 뭘 바꿔야 할까

구글과 마이크로소프트, 오픈AI가 robots.txt에 한 줄만 추가하면 여러 AI 기업에 동시에 학습 거부 의사가 전달되는 공용 신호를 지원하겠다고 밝혔습니다. 세 회사 모두 아직 실제로 반영하지 않고 있고 적용 시점도 회사마다 다르지만, 미리 알아 두면 나중에 허둥대지 않아도 됩니다. 지금 당장 robots.txt를 고쳐야 하는지, 그대로 둬도 되는지 짚어봅니다.

왜 지금 이 신호를 챙겨봐야 할까

지금까지는 구글 AI 학습을 막으려면 Google-Extended, 오픈AI를 막으려면 GPTBot, 앤트로픽을 막으려면 ClaudeBot처럼 회사마다 다른 이름을 robots.txt에 하나씩 적어야 했습니다. 회사가 늘어날수록 챙겨야 할 줄도 늘어나는 구조였습니다.

이번에 나온 '__usage_ai-training' 신호는 이 여러 줄을 한 줄로 정리하려는 시도입니다. 아직 초안 단계지만, 세 회사가 동시에 지원을 발표한 만큼 앞으로 다른 AI 기업도 뒤따를 가능성이 있어 지금부터 흐름을 알아 두면 나중에 설정을 바꿀 때 덜 헤매게 됩니다.

이 신호는 누가 만들었을까

'__usage_ai-training' 신호를 처음 제안한 사람은 앤트로픽 소속 엔지니어 케빈 켈리입니다. 그가 인터넷 표준을 다루는 국제 작업반에 초안을 올리면서 이 논의가 시작됐습니다.

정작 이번 발표 명단에는 앤트로픽이 들어 있지 않은데, 켈리는 앤트로픽도 내부적으로 작업을 시작했지만 전체 서비스에 반영하려면 시간이 더 필요하다고 설명했습니다. 초안을 낸 사람과 실제로 발표한 회사가 다르다는 점은, 이 신호가 아직 공식 표준으로 확정되지 않았다는 사실을 보여줍니다.

지금 당장 뭘 하지 않아도 되는 이유

구글과 마이크로소프트, 오픈AI 모두 현재는 이 신호를 실제로 반영하고 있지 않습니다. robots.txt에 '__usage_ai-training' 줄을 오늘 추가해도, 세 회사가 각자 적용을 시작하기 전까지는 아무 효과가 없습니다.

구글은 2027년 초, 오픈AI는 몇 달 안으로 예고했고, 마이크로소프트는 12월 15일부터 임시 설정을 거쳐 내년 2월 1일부터 새 설정을 반영합니다. 급하게 바꿀 이유는 없지만, 적용 시점이 다가오면 설정이 제대로 돼 있는지 다시 점검해야 합니다.

기존 규칙은 그대로 둬야 할까

구글이나 오픈AI, 앤트로픽마다 따로 넣어 둔 Google-Extended, GPTBot, ClaudeBot 규칙은 지금 지울 이유가 없습니다. 새 공용 신호가 실제로 반영되기 전까지는 이 규칙들이 유일하게 작동하는 설정이기 때문입니다. 공용 신호가 본격적으로 적용된 뒤에도 회사별 규칙을 함께 남겨 두면, 공용 신호를 아직 지원하지 않는 다른 AI 기업의 크롤러에도 계속 대응할 수 있습니다.

새 신호를 미리 추가해 두면 좋은 점

아직 아무 효과가 없더라도, '__usage_ai-training' 줄을 미리 추가해 둬서 손해 볼 일은 없습니다. 기존 robots.txt 문법을 그대로 쓰는 방식이라 따로 손볼 게 없고, 각 회사가 적용을 시작하는 시점에 맞춰 자동으로 효과가 생깁니다.

다만 '__usage_ai-training'만 적어 두고 Google-Extended를 별도로 쓰지 않은 사이트는, 구글이 이를 Google-Extended까지 거부한 것으로 간주합니다. 두 설정을 같은 의도로 쓰고 있다면 문제가 없지만, 서로 다른 의도로 운영하고 있었다면 이 해석 규칙을 미리 알아 둬야 합니다.

회사별로 달라지는 적용 시점

세 회사의 일정은 서로 다릅니다. 구글은 2027년 초부터 지원하며, 이 규칙은 제미나이 앱의 그라운딩에도 함께 적용됩니다. AI 오버뷰와 AI 모드는 별도로 서치콘솔의 생성형 AI 노출 설정을 따로 씁니다.

오픈AI는 몇 달 안에 지원을 시작하며, 그때까지는 기존 GPTBot 정책이 그대로 유지됩니다. 마이크로소프트는 학습과 그라운딩 설정을 나눠 관리하는 쪽을 택해, 12월 15일부터 임시 설정이 추가되고 내년 3월 1일부터는 옛 태그를 인식하지 않습니다. 세 날짜를 달력에 따로 적어 두면 놓치지 않습니다.

빙 웹마스터 도구를 쓰는 사이트라면

노아카이브나 노캐시 태그로 그라운딩을 관리해 온 사이트는 이번 변화를 특히 눈여겨봐야 합니다. 12월 15일부터는 빙 웹마스터 도구 쪽에서 그라운딩용 임시 설정을 새로 받아볼 수 있고, 이어 내년 2월 1일부터 그 설정이 본격적으로 반영되며 3월 1일부터는 옛 태그가 더 이상 인식되지 않습니다. 이 기간에 따로 설정을 하지 않은 페이지는 다음 크롤링 전까지 그라운딩이 허용된 채로 남아 있게 되므로, 노아카이브나 노캐시 태그를 걸어 둔 이유가 명확하다면 늦어도 2월 초까지는 빙 웹마스터 도구에서 새 설정을 확인하고 옮겨 둬야 합니다.

AI 학습 차단과 AI 검색 노출은 다른 이야기

robots.txt로 AI 학습을 막는 것과 AI 오버뷰나 챗GPT 답변에 내 콘텐츠가 인용되는 것은 서로 다른 설정입니다. 구글의 경우 AI 오버뷰와 AI 모드 노출은 서치콘솔의 별도 설정으로 관리되고, 학습 거부 신호는 여기에 영향을 주지 않습니다.

AI 학습에는 쓰이지 않으면서 AI 검색 답변에는 계속 인용되고 싶다면, 두 설정을 혼동하지 않고 따로 챙겨야 합니다. 두 설정 이름이 비슷해 보여서 하나만 바꾸고 나머지는 그대로 둔 것으로 착각하는 경우가 흔하니, 설정을 바꾼 뒤에는 어느 쪽을 건드렸는지 다시 한번 확인해 두는 편이 안전합니다.

인력이 적은 팀이라면

지금 당장 robots.txt를 바꿔야 한다는 부담은 가질 필요가 없습니다. 기존 Google-Extended, GPTBot, ClaudeBot 규칙만 그대로 유지하면서, 구글이 2027년 초에, 오픈AI가 몇 달 안에, 마이크로소프트가 내년 2월 1일에 각각 적용을 시작한다는 일정만 메모해 두면 충분합니다.

빙 웹마스터 도구로 그라운딩을 관리하고 있다면 12월 중순 업데이트만 따로 챙기고, 그 외에는 각 회사의 공식 발표가 나올 때 한 번씩 robots.txt를 다시 열어 봐도 늦지 않습니다.