TAG
크롤러 제어
크롤러 제어 관련 글 2편.
GPTBot·
ClaudeBot· PerplexityBot, robots.txt에서 막아야 할까 열어야 할까 — 크롤러별 설정 가이드 GPTBot, ClaudeBot, PerplexityBot 등 AI 크롤러는 학습용·검색인용용·사용자요청용으로 역할이 나뉘어 있어, robots.txt에서 무작정 다 막거나 다 여는 것은 손해다. 학습 봇을 막아도 검색·인용 봇을 열어두면 ChatGPT·Perplexity 인용은 계
⏱ 10분
ChatGPT가 우리 브랜드를 모른다면? llms.txt 작성법 총정리
llms.txt는 사이트 루트에 마크다운으로 핵심 정보를 요약해 AI 크롤러에게 전달하는 파일로, 2024년 9월 Answer.AI의 Jeremy Howard가 llmstxt.org를 통해 제안했다. robots.txt(크롤링 허용·차단)나 sitemap.xml(전체 URL 목록)과 무엇이 다른지, 실제 작성·배치·검증법까지 정리했다.
⏱ 8분