Acceso

Bots y llms.txt son higiene


Still abstracto: trazo en L, línea de acento y tres barras contorneadas.

robots.txt, llms.txt, sitemaps y cabeceras son higiene. Dicen a los crawlers qué pueden leer. No son un pase a ChatGPT, Gemini ni al allocator de nadie.

Si un bot no llega a la página, ningún spam de FAQ hará que el modelo te cite. Primero el acceso a archivos. Luego hechos extraíbles. Luego volver a medir.

llms.txt es un mapa público: un documento de cortesía. Algunos retrievers miran. Otros lo ignoran. Venderlo como palanca de ranking es cómo miente la categoría. Inventariamos lo que envías y etiquetamos discrepancias: un sitemap que no cuadra con robots, una cabecera que bloquea al bot que invitaste, HTML que no es el HTML que ve una persona.

El mismo HTML público para personas y crawlers. Sin cloaking. Sin fork por user-agent. Eso es ley de producto, no un humor. Descubrir — enviar una URL, abrir un camino — no es una garantía de cita. Es la chance de ser leído.

La analítica de agentes, cuando la mostramos, sale de logs que ya tienes. Tráfico de entrenamiento, fetches de retrieval y hits de indexación son trabajos distintos. Mezclarlos en «tráfico de IA» es otra palabra niebla.

Un payload ligero para agentes, con el HTML humano igual, es una idea posterior en este stack. No es cloaking. Tampoco está en la oferta v1. No compres un cuento de un segundo sitio invisible.

La secuencia honesta es aburrida, por eso funciona: ¿puede el bot fetchear, puede una persona citar el span, se movió el siguiente corte mensual? Higiene, no folclore.

Todas las ideas