AI·자동화 트렌드
ChatGPT가 우리 브랜드를 모른다면? llms.txt 작성법 총정리
llms.txt 작성 가이드: AI 크롤러에게 우리 사이트를 정확히 알려주는 법
우리 브랜드 이름을 ChatGPT에 물었더니 엉뚱한 설명이 돌아오거나, 아예 언급조차 안 되는 경험. 마케터라면 한 번쯤 겪어 봤을 거예요. 검색엔진에는 잘 걸리는데 AI 답변에는 왜 안 나올까요. 원인은 대개 하나예요. AI가 우리 사이트를 읽긴 읽는데, 정작 핵심을 못 짚는 거죠.
llms.txt는 AI 크롤러에게 사이트의 핵심을 마크다운으로 요약해 건네는 파일이에요. HTML 더미 속에서 헤매게 두지 말고 "우리가 누구고, 무엇이 중요한지"를 정리된 한 장으로 먼저 보여주는 방식이죠. 이 글은 그 파일을 실제로 만들고 배치·검증하는 법을 과장 없이 정리해 봤어요.
llms.txt란 무엇인가요?
llms.txt는 사이트 최상위 경로(/llms.txt)에 두는 마크다운 파일이에요. 대규모 언어모델이 사이트를 이해하도록 돕는 요약본이죠. 2024년 9월 Answer.AI의 Jeremy Howard가 llmstxt.org를 통해 제안한 규격이에요.1
| 항목 | 내용 |
|---|---|
| 위치 | 사이트 최상위 경로 /llms.txt |
| 포맷 | 마크다운 |
| 목적 | LLM이 사이트를 이해하도록 돕는 요약본 |
| 제안 | 2024년 9월, Answer.AI의 Jeremy Howard (llmstxt.org) |
핵심은 이거예요. 사람이 보는 웹페이지에는 내비게이션, 광고, 자바스크립트, 푸터가 뒤엉켜 있잖아요. AI가 이걸 그대로 긁으면 정작 중요한 문장은 노이즈에 묻혀 버려요. 이삿짐을 박스째 던져 주면서 "알아서 중요한 거 찾아 봐"라고 하는 셈이죠. llms.txt는 그 노이즈를 걷어내고 "읽어야 할 것만" 링크와 한 줄 설명으로 추려 줘요.
보충. llms.txt는 크롤링을 막는 파일이 아니에요. robots.txt가 "들어오지 마"라면, llms.txt는 "이왕 왔으니 이것부터 봐"에 가까워요.
robots.txt·sitemap.xml과 뭐가 다른가요?
세 파일은 목적이 완전히 달라요. 하나로 나머지를 대체할 수는 없어요.
sitemap이 "우리 사이트의 모든 문"을 나열한 지도라면, llms.txt는 "중요한 방 다섯 개만 골라 설명을 붙인 안내문"이에요. 양이 아니라 편집이 핵심이죠.
AI 검색엔진이 실제로 이 파일을 읽나요?
솔직하게 답하면, 아직 공식 표준은 아니에요. llms.txt는 W3C 같은 표준화 기구가 채택한 규격이 아니라 커뮤니티가 확산시키는 제안이거든요.
구글은 선을 확실히 그었어요. 구글의 John Mueller는 llms.txt를 두고 과거의 keywords 메타태그에 비유하며, 자사 크롤러가 이를 사용하지 않는다는 취지로 공개적으로 언급했어요. 이 발언은 Search Engine Roundtable 등 업계 매체가 보도했고요.2 즉 "이거 만들면 구글 AI 개요에 바로 뜬다"는 기대는 과장이에요.
반대 축도 분명해요. Anthropic은 자사 개발자 문서에 llms.txt를 제공하고, 문서 플랫폼 Mintlify는 호스팅 문서에 llms.txt를 자동 생성하는 기능을 넣었거든요.3 개발자 문서 생태계에서는 사실상 관례로 자리 잡는 중이에요.
정리하면 이래요. 보장된 채널은 아니지만, 만드는 비용이 낮고 리스크도 없는 선제적 준비인 거죠.
llms.txt 작성 문법 — 필수 구조
규격은 단순해요. llmstxt.org는 마크다운의 표준 요소만 써요.1 순서는 이래요.
| 순서 | 요소 | 역할 | 필수 여부 |
|---|---|---|---|
| 1 | H1 한 개 | 사이트·프로젝트 이름 | 필수 |
| 2 | blockquote 한 줄 | 무엇을 하는 곳인지 요약 | 권장 |
| 3 | 본문 단락 | 맥락 설명 | 선택 |
| 4 | H2 섹션 + 링크 목록 | 카테고리별 핵심 문서 ([제목](URL): 한 줄 설명) | — |
실제 예시예요.
# 클래스도산
> 비개발자를 위한 AI 전환·교육 브랜드. 클로드 바이브 코딩 원데이 클래스를 운영합니다.
## 핵심 프로그램
- [클로드 바이브 코딩 원데이 클래스](https://classdosan.com/programs/oneday): 5시간, 결과물 1개 완성
- [기업 AI 교육](https://classdosan.com/corporate): HR·실무자 대상 맞춤 과정
## 참고
- [블로그](https://classdosan.com/blog): AI 전환 실무 아티클
## Optional이라는 이름의 섹션을 두면, 문맥이 부족할 때 건너뛰어도 되는 부차적 링크로 표시돼요.
5단계로 만드는 우리 사이트 llms.txt
- 콘텐츠 인벤토리 — 지금 사이트의 페이지를 전부 나열해 봐요. 여기서 대개 "정작 소개 페이지가 빈약하다"는 사실이 드러나거든요.
- 우선순위 선정 — AI가 우리를 설명할 때 꼭 알아야 할 5~10개만 남겨요. 나머지는 과감히 덜어내고요.
- 요약 작성 — 각 링크에 한 줄 설명을 달아요. 사실 여기가 승부처예요. "원데이 클래스"가 아니라 "비개발자 대상 5시간 원데이 클래스"처럼 구체적으로 써 보세요.
- 파일 배치 — 루트에
/llms.txt로 올려요. 서브디렉터리에 두면 크롤러가 못 찾아요. - 검증 — 브라우저에서
도메인/llms.txt가 마크다운 원문 그대로(HTML 렌더 없이) 열리는지 확인해요.Content-Type: text/plain이면 안전하고요.
llms-full.txt는 언제 따로 만드나요?
llms-full.txt는 링크 대신 문서 본문 전체를 한 파일에 펼쳐 담은 버전이에요. AI가 링크를 일일이 따라가지 않고도 전체 내용을 한 번에 읽게 하려는 용도죠.
기준은 문서량이에요. SaaS 제품, API 레퍼런스, 개발자 도구처럼 읽혀야 할 문서가 수십 건 이상인 사이트라면 llms-full.txt가 유용해요. 페이지 열 몇 개짜리 브랜드 사이트라면 llms.txt 하나로 충분하고요. 물론 둘 다 의무는 아니에요.
| 구분 | llms.txt | llms-full.txt |
|---|---|---|
| 담는 것 | 링크 + 한 줄 설명 | 문서 본문 전체 |
| 적합한 사이트 | 페이지 열 몇 개짜리 브랜드 사이트 | 문서 수십 건 이상(SaaS·API·개발자 도구) |
| 의무 여부 | 의무 아님 | 의무 아님 |
클래스도산의 관점: 3층 요약 원칙
수많은 링크를 그냥 나열하면 llms.txt는 sitemap의 열화판이 되고 말아요. 클래스도산은 편집 기준으로 3층 요약 원칙을 써요.
위에서 아래로 좁혀 가며 써요. 1층에서 정체성이 흐릿하면 AI는 3층 링크를 아무리 줘도 우리를 못 요약해요. 순서를 지키는 게 핵심이죠.
만들고 나서 뭘 봐야 하나요?
정직하게 말하면, llms.txt의 효과를 트래픽으로 딱 떨어지게 귀속하기는 어려워요. AI 답변에는 출처 링크가 안 붙는 경우가 많고, 리퍼러도 잡히지 않거든요.
그래서 측정보다 유지보수를 봐요. 프로그램·가격·핵심 페이지가 바뀔 때마다 llms.txt도 같이 고쳐 주세요. 분기에 한 번은 실제로 ChatGPT나 Perplexity에 브랜드명을 물어 답변이 정확해졌는지 눈으로 확인하는 게 현실적인 점검이에요.
| 측정이 어려운 이유 | 대신 볼 것 |
|---|---|
| AI 답변에 출처 링크가 안 붙음 | 프로그램·가격·핵심 페이지 변경 시 llms.txt 동기화 |
| 리퍼러가 잡히지 않음 | 분기 1회 ChatGPT·Perplexity에 브랜드명 질의로 점검 |
결론은 간단해요. 오늘 딱 30분만 들여 /llms.txt 한 장을 올려 두세요. AI가 우리를 오해할 여지를 지금 줄여 두는 거죠. 🙂
자주 묻는 질문 (FAQ)
Q. llms.txt를 만들면 검색 순위가 오르나요? A. 아니요. 구글은 자사 검색·AI 크롤러가 llms.txt를 사용하지 않는다고 밝혔어요. SEO 순위 도구가 아니라 AI에게 사이트를 요약해 주는 보조 파일로 이해하시면 돼요.
Q. robots.txt가 있으면 llms.txt는 필요 없나요? A. 둘은 목적이 달라요. robots.txt는 크롤링 허용·차단을 지시하고, llms.txt는 무엇이 중요한지 요약해요. 서로 대체되지 않고요.
Q. 파일은 어디에 올려야 하나요?
A. 반드시 도메인 루트, 즉 도메인/llms.txt 경로예요. 서브폴더에 두면 크롤러가 찾지 못해요.
Q. llms.txt와 llms-full.txt를 둘 다 만들어야 하나요? A. 아니요. 문서가 적은 사이트는 llms.txt 하나면 충분해요. llms-full.txt는 문서량이 많은 제품·개발자 사이트에 권해요.
출처
Footnotes
-
llmstxt.org — llms.txt 규격 원문 및 제안 배경(Jeremy Howard, Answer.AI). https://llmstxt.org ↩ ↩2
-
Search Engine Roundtable, Google의 John Mueller가 llms.txt를 keywords 메타태그에 비유하며 구글 크롤러가 사용하지 않는다고 언급한 보도. https://www.seroundtable.com ↩
-
Anthropic 개발자 문서(docs.anthropic.com)의 llms.txt 제공 및 Mintlify 문서의 llms.txt 자동 생성 기능. https://mintlify.com/docs ↩