상위 1만 사이트 중 llms.txt 있는 곳 5.61%

AI가 사이트 내용을 더 쉽게 읽도록 안내문을 담는 llms.txt 파일이 실제로 얼마나 퍼졌는지를 HTTP 아카이브의 빅쿼리 데이터셋으로 조사한 결과가 나왔습니다. 케이시 버리지가 2026년 6월 20일 공개한 이 조사는 2025년 7월부터 매달 데이터를 쌓아왔고, HTML로 된 가짜 404가 아니라 실제로 파싱되는 llms.txt가 있는지를 기준으로 삼았습니다. 무작위 URL이 아니라 실제 크롬 트래픽이 있는 사이트를 크롤링 대상으로 골랐습니다.

2026년 6월 기준으로 상위 1만 개 사이트 가운데 5.61%(크롤링된 7,504곳 중 421곳)가 유효한 llms.txt를 갖고 있었습니다. 이를 상위 100만 사이트로 확장하면 대략 3만 9,000곳 규모로 추정됩니다. 2025년 7월 1.04%였던 채택률은 1년 만에 5.61%로, 약 5.4배로 늘었고 2026년 초부터 증가 속도가 빨라졌습니다.

플랫폼별로 보면 쇼피파이가 78.1%로 압도적으로 높았는데, 이는 2026년 4~5월 쇼피파이가 플랫폼 차원에서 조용히 일괄 적용한 결과이지 입점 업체들이 자발적으로 채택한 결과는 아니라고 원문은 설명합니다. CMS별로는 워드프레스 8.7%, 콘텐트풀 22.9%, 어도비 익스피리언스 매니저 19%, 드루팔 1.5%로 나타났습니다.

사이트 순위 구간별 채택률은 상위 1,000곳이 6.28%, 상위 100만 곳이 5.07%로 큰 차이 없이 고르게 나타났습니다. 원문은 이를 두고 llms.txt 채택이 소수 대형 사이트에 몰리기보다 폭넓게 퍼지고 있다는 신호로 해석했습니다. 정작 챗GPT, 클로드, 제미나이 같은 주요 소비자용 AI 서비스 자체의 사이트에는 llms.txt가 없었지만, 앤트로픽이나 xAI 같은 개발자 문서 사이트에는 들어가 있었습니다.

이렇게 채택률이 꾸준히 느는 사이, llms.txt 표준 자체도 손을 봤습니다. 리폰테러닝에 따르면 2026년 8월 10일 나온 버전 2는 링크 태그와 HTTP 헤더로 파일 위치를 알리는 방법을 추가하고, 마크다운 파일명 규칙을 유연하게 바꾸고, 하위 폴더별로 llms.txt 범위를 지정할 수 있게 했습니다. 다만 정작 구글은 서치 센트럴 안내에서 "생성형 검색에서 노출되기 위해 특별한 AI 마크업이나 llms.txt 파일이 필요하지 않다"며 "llms.txt를 만들어 유지하더라도 구글 검색은 이를 무시하기 때문에 순위에 해가 되지도, 도움이 되지도 않는다"고 못박았습니다. 크롤링 편의성, 페이지 속도, 스키마 마크업 같은 기존 SEO 요소가 AI 노출에도 더 중요하다는 설명입니다.

한국에서는

이 조사는 HTTP 아카이브에 잡히는 전 세계 사이트를 대상으로 했고, 한국 사이트만 따로 뗀 수치는 원문에 없습니다. 국내 사이트에 llms.txt가 있는지는 도메인 뒤에 "/llms.txt"를 붙여 직접 열어보는 방법으로 가장 빠르게 확인할 수 있습니다. 다만 이 조사가 보여주는 건 파일이 있는지 여부일 뿐, 그 llms.txt를 실제로 AI가 읽고 참고하는지는 별개의 문제로 남습니다. 게다가 구글처럼 이 파일을 아예 참고하지 않는다고 밝힌 곳도 있는 만큼, llms.txt를 새로 만들지 고민 중이라면 이를 만능 해법으로 보기보다 기존 크롤링·마크업 기본기를 먼저 챙기는 쪽이 안전합니다.

원문: caseyrb.com, Casey Burridge, 2026년 6월 20일. 확인일 2026년 9월 21일. 원문 보기