llms.txt 완전 가이드: robots.txt만으로 부족한 이유

llms.txt 완전 가이드: robots.txt만으로 부족한 이유와 AI 검색엔진에 사이트를 제대로 알리는 법

llms.txt는 사이트의 핵심 문서를 마크다운 목록으로 정리해 AI에 건네는 안내 파일이에요.

robots.txt가 "들어와도 되나요"를 판정하는 문지기라면, llms.txt는 "이것부터 읽으세요"라고 짚어 주는 목차입니다. GPTBot(OpenAI)·ClaudeBot(Anthropic)·PerplexityBot(Perplexity) 같은 AI 크롤러를 robots.txt에서 전부 허용하고 sitemap.xml까지 제출했는데, ChatGPT에 회사 이름을 물으면 엉뚱한 설명이 돌아오는 상황. GEO(생성형 엔진에 인용되도록 콘텐츠를 설계하는 작업)를 해 본 분이면 한 번씩 부딪힙니다. 허용은 됐는데 전달이 안 된 상태예요.

한눈 요약부터 드릴게요.

llms.txt는 2024년 9월 제안된 비공식 규약이고, 2026년 11월 현재 공식 지원을 문서로 밝힌 대형 검색·AI 서비스는 없습니다.
그래도 만들 가치가 있는 이유는 효과가 커서가 아니라 비용이 반나절 이하라서예요.
순서를 뒤집지 마세요. 인용될 본문이 먼저, llms.txt는 그다음입니다.

llms.txt란 무엇인가요?

사이트 루트(/llms.txt)에 두는 마크다운 파일이고, Answer.AI의 제레미 하워드가 2024년 9월 제안했어요.¹ 제안서의 문제의식은 분명합니다. 모델의 컨텍스트 창은 좁고, 상업용 웹페이지는 내비게이션·광고·스크립트로 덮여 있어 정작 필요한 문장을 찾기 어렵다는 것. 그러니 사람용 HTML과 별개로, 기계가 바로 집어 갈 요약과 링크 목록을 따로 주자는 제안이에요.

세 파일의 역할은 겹치지 않습니다.

파일	규격상 역할	AI에 전달되는 정보
robots.txt	1994년 관행, 2022년 RFC 9309로 표준화된 크롤러 접근 제어²	읽어도 되는 경로 / 막힌 경로
sitemap.xml	크롤링 대상 URL과 수정 시각 전달(프로토콜 0.90)³	URL의 존재와 최신성
llms.txt	2024년 제안, 핵심 문서 큐레이션 + 요약	무슨 사이트인지, 무엇이 중요한지

보충. llms.txt는 차단 수단이 아니에요. 학습 거부 의사는 robots.txt와 이용약관에서 표현하세요. 두 역할을 섞으면 둘 다 흐려집니다.

robots.txt와 사이트맵만으로 왜 부족한가요?

표현할 수 있는 문장의 종류가 다르기 때문이에요. RFC 9309가 규정하는 규칙 문법은 허용·차단 경로와 적용 user-agent까지입니다.² "우리는 비개발자를 위한 AI 교육 브랜드이고, 대표 수업은 5시간 원데이 클래스다" 같은 서술을 담을 칸이 애초에 없어요.

sitemap.xml도 사정이 같습니다. URL 300개를 평등하게 나열할 뿐, 그중 어느 세 장이 우리를 설명하는 문서인지 구분하지 않아요. 생성형 엔진은 질문에 답할 몇 페이지만 열어 요약을 만듭니다. 그 몇 장을 운에 맡기느냐, 우리가 지정하느냐의 차이예요.

렌더링 문제도 겹칩니다. 가격·일정·대상이 자바스크립트로 그려지는 페이지라면 크롤러가 받아 간 HTML에는 그 숫자가 없어요. 설정은 완벽한데 전달된 건 빈 껍데기인 상태죠.

llms.txt를 실제로 읽는 AI가 있나요?

공식 지원을 명시한 서비스는 아직 없습니다. 구글 검색 공식 문서는 크롤링 제어 수단으로 robots.txt와 사이트맵만 설명하고 llms.txt는 다루지 않아요.⁴ OpenAI·Anthropic·Perplexity도 자사 크롤러 문서에서 소비한다고 밝힌 바 없습니다. 표준이 아니라 제안 단계라고 보는 게 정확해요.

반면 공급 쪽은 이미 기능으로 들어가 있어요. 문서 호스팅 플랫폼 Mintlify는 호스팅 문서 사이트에 llms.txt와, 문서 본문을 한 파일로 합친 llms-full.txt를 생성하는 기능을 공식 문서에 명시합니다.⁵ 읽힌다는 보장은 없지만 만드는 비용은 0에 가까운 셈입니다.

llms.txt는 어떻게 작성하나요?

필수는 H1 한 줄뿐이에요. 나머지는 모두 선택입니다.¹

구성요소	문법	필수 여부
사이트·브랜드 이름	`# 클래스도산`	필수(유일)
한 줄 요약	`> 비개발자를 위한 AI 전환 교육 브랜드` (블록인용)	선택, 사실상 필수
문서 목록	`## 수업` 아래 `- [제목](URL): 한 줄 설명`	선택, 핵심
Optional 섹션	`## Optional` — 컨텍스트가 모자랄 때 건너뛸 링크	선택

구조 예시예요. 링크 경로는 각자 사이트 구조에 맞춰 바꾸세요.

# 클래스도산

> 비개발자를 위한 AI 전환 교육 브랜드. 대표 과정은 클로드 바이브 코딩 원데이 클래스(5시간, 결과물 1개 완성).

## 수업
- [클로드 바이브 코딩 원데이 클래스](예시 URL): 비개발자 대상 5시간 과정, 결과물 1개를 완성합니다.

## Optional
- [블로그](예시 URL): AI 전환 사례와 교육 노트.

순서가 성능입니다. 위에서 아래로 읽히니 브랜드 정의와 대표 문서를 먼저 두고 부가 자료는 뒤로 미루세요. 링크마다 붙이는 한 줄 설명을 귀찮다고 빼지 마세요. 그 한 줄이 "이 페이지를 열어야 하나"를 판단하는 거의 유일한 단서예요. 제안서는 각 페이지의 마크다운 사본(page.html.md)을 함께 제공하는 방식도 권합니다.

클래스도산 "읽히는 페이지 3조건"

목차가 훌륭해도 본문이 비면 인용될 게 없어요. 수업에서 비개발자 수강생에게 반복해 말하는 기준이 세 개입니다.

첫째, 한 페이지 한 주장. 한 URL이 하나의 질문에만 답해야 인용 단위가 깔끔합니다. 수업 소개와 회사 소개와 환불 규정이 한 장에 섞이면 모델은 세 개를 뒤섞은 요약을 만듭니다.

둘째, 40~60자 직답 먼저. 질문형 제목 바로 아래 첫 문장이 결론이어야 해요. "5시간입니다"가 먼저, 배경은 뒤. 답변 엔진이 잘라 가는 건 그 첫 문장입니다.

셋째, 고유명사 한 가지 표기. 브랜드·수업명·대상을 매번 같은 표기로 쓰고 첫 등장에서 한 문장으로 정의하세요. 표기가 흔들리면 모델에겐 서로 다른 두 엔티티가 됩니다. 클래스도산이 문서 전체에서 구 명칭을 걷어내고 한 표기로 통일한 이유예요.

지금 넣어야 할까요, 미뤄도 될까요?

반나절 안에 끝나면 지금 하는 게 맞아요. 기대 효과가 작지만 비용이 더 작습니다. 다만 GEO 전략의 1순위로 올리는 건 순서가 뒤집힌 겁니다 🙂

구분	지금 넣을 가치가 큰 사이트	뒤로 미뤄도 되는 사이트
문서 규모	가이드·설명 문서 20개 이상, 계층이 분명	랜딩 페이지 3~5장이 전부
생성 방식	플랫폼이 자동 생성해 유지 비용 0	손으로 쓰고 손으로 갱신
선행 조건	브랜드·수업 엔티티 정의가 HTML에 이미 있음	핵심 정보가 자바스크립트로 가려짐

미뤄도 되는 쪽이라면, 같은 반나절을 핵심 페이지 세 장의 첫 문단을 직답으로 고치는 데 쓰세요. 그쪽이 지금은 확실히 더 남습니다.

오늘 브라우저에서 /llms.txt를 열어 404가 뜨는지부터 확인해 보세요.

자주 묻는 질문

Q. llms.txt를 올리면 ChatGPT나 Perplexity에 더 잘 노출되나요? A. 보장되지 않아요. 공식 지원을 밝힌 서비스가 없으니 노출 증가를 전제로 예산을 짜면 안 됩니다. 사이트 설명이 한 파일로 정리되는 효과는 남습니다.

Q. llms.txt와 llms-full.txt는 어떻게 다른가요? A. llms.txt는 링크 목록과 요약, llms-full.txt는 문서 본문을 한 파일로 합친 버전이에요. Mintlify 문서는 두 파일 생성을 함께 안내합니다.⁵

Q. robots.txt로 AI 크롤러를 막고 llms.txt를 올려도 되나요? A. 권하지 않아요. 판단 기준은 간단합니다. llms.txt에 적을 링크가 robots.txt에서 Disallow된 경로라면 그 줄은 지우세요. 공개할 범위와 차단할 범위를 먼저 그리고 나서 목차를 쓰는 순서입니다.

Q. 구조화 데이터(schema.org)를 llms.txt로 대체할 수 있나요? A. 아니요, 역할이 다릅니다. 구조화 데이터는 가격·일정·조직 같은 값을 기계 판독 형식으로 전달하고, llms.txt는 어떤 문서를 읽을지 안내해요. GEO에서는 둘 다 필요합니다.

출처

llms.txt 제안 원문 및 스펙 — Jeremy Howard(Answer.AI), 2024년 9월 공개. H1 하나만 필수인 문법과 Optional 섹션, 페이지 마크다운 사본 권고가 여기에 규정되어 있습니다. https://llmstxt.org/ ↩ ↩²
『RFC 9309: Robots Exclusion Protocol』 — IETF, 2022. 1994년부터 쓰인 robots.txt 관행을 표준화한 문서로, 규칙의 적용 범위가 URI 접근 허용·차단임을 규정. https://www.rfc-editor.org/rfc/rfc9309.html ↩ ↩²
『Sitemaps XML format』 — sitemaps.org 프로토콜 0.90. 사이트맵이 크롤링 대상 URL과 수정 시각을 전달하는 포맷임을 규정. https://www.sitemaps.org/protocol.html ↩
『robots.txt 소개 및 가이드』 — Google 검색 센터 공식 문서. 크롤링 제어 수단으로 robots.txt를 설명하며, llms.txt 관련 언급은 포함하지 않습니다. https://developers.google.com/search/docs/crawling-indexing/robots/intro ↩
Mintlify 공식 문서 — 호스팅 문서 사이트의 llms.txt·llms-full.txt 생성 기능 안내. 여기서 인용한 범위는 "플랫폼 문서에 해당 기능이 기재되어 있다"는 사실까지입니다. https://mintlify.com/docs ↩ ↩²

llms.txt 완전 가이드: robots.txt만으로 부족한 이유