llms.txt 표준 — AI 크롤러에게 우리 사이트를 안내하는 새로운 프로토콜
robots.txt·sitemap.xml에 이어 등장한 llms.txt·llms-full.txt의 정의, 표준화 현황, 국내 도입 통계와 작성 실전을 정리합니다.
llms.txt는 2024년 9월 제안된 표준으로, LLM(대형언어모델)이 웹사이트의 핵심 콘텐츠를 효율적으로 인덱싱하도록 안내하는 마크다운 파일입니다. robots.txt가 ‘허용/차단’을 지시한다면, llms.txt는 ‘여기가 우리 사이트의 요약과 주요 링크’를 알려줍니다. 2026년 5월 기준 국내 상위 1만 사이트 중 약 6.8%가 llms.txt를 배포하고 있습니다.
llms.txt vs llms-full.txt: llms.txt는 사이트 개요·주요 페이지 목록만(수 KB), llms-full.txt는 주요 페이지 본문을 마크다운으로 통합(수백 KB~수 MB). 후자는 AI 파인튜닝·인용에 더 강력하지만 대역폭 비용 증가. 대다수 사이트는 두 파일을 함께 배포합니다.
권장 구조: (1) 사이트 개요 3~5문장, (2) ‘## Docs’ 섹션에 문서·가이드 링크, (3) ‘## Products’ 섹션에 제품·가격 링크, (4) ‘## About’ 섹션에 기업 정보 링크, (5) ‘## Optional’ 섹션에 부가 자료. 각 링크에는 짧은 설명을 붙여 AI가 상황에 맞게 선택하게 합니다.
AI 크롤러 정책 조합: robots.txt에서 GPTBot·PerplexityBot·Anthropic-ai·ClaudeBot·Google-Extended·Bytespider를 허용해야 llms.txt가 실제로 소비됩니다. 국내 사이트의 34%는 이 크롤러들을 여전히 차단하고 있어 GEO 성과가 발생하지 않습니다. 차단 해제만으로도 인용 건수가 평균 3배 증가합니다.
결론: llms.txt는 ‘AI 시대의 sitemap’입니다. 5분이면 만들지만, 배포한 사이트는 소수라 선점 효과가 큽니다. WEBHEADS는 llms.txt·llms-full.txt 자동 생성 스크립트를 오픈소스로 제공합니다.
관련 글
주식회사 웹헤즈 · 대표전화 02-540-4337 · 도입 문의