robots.txt, llms.txt, 사이트맵, 헤더는 위생입니다. 크롤러가 읽어도 되는 범위를 알립니다. ChatGPT, Gemini, 누구의 할당기 입장권이 아닙니다.
봇이 페이지에 닿지 못하면 FAQ 스팸을 아무리 쌓아도 모델은 인용하지 않습니다. 먼저 파일 공개. 다음 추출 가능한 사실. 그다음 다시 잽니다.
llms.txt는 공개 지도——예의의 문서입니다. 보는 리트리버도, 무시하는 리트리버도 있습니다. 순위 지렛대로 파는 것이 이 시장의 거짓말입니다. 내보낸 것을 재고하고 불일치에 라벨합니다. robots와 어긋난 사이트맵, 초대한 봇을 막는 헤더, 사람이 보는 HTML이 아닌 HTML.
사람과 크롤러에 같은 공개 HTML. 클로킹 없음. UA 분기 없음. 기분이 아니라 제품 법입니다. 발견——URL 제출, 길을 여는 것——은 인용 보장이 아닙니다. 읽힐 기회입니다.
에이전트 분석을 보여줄 때는 이미 가진 로그에서 옵니다. 학습 트래픽, 검색 페치, 색인 히트는 다른 일입니다. ‘AI 트래픽’으로 섞는 것도 안개 단어입니다.
사람 HTML은 그대로 두고 에이전트용 가벼운 토큰 페이로드는 이 스택의 나중 생각입니다. 클로킹이 아닙니다. v1 제안에도 없습니다. 보이지 않는 두 번째 사이트 이야기는 사지 마세요.
정직한 순서는 지루하고, 그래서 됩니다. 봇이 가져올 수 있는지, 사람이 구간을 인용할 수 있는지, 다음 월간 단면이 움직였는지. 위생이지 전설이 아닙니다.