robots.txt, llms.txt, sitemap, dan header adalah higiene. Mereka memberi tahu crawler apa yang boleh dibaca. Mereka bukan tiket ke ChatGPT, Gemini, atau alokator siapa pun.
Jika bot tidak bisa mencapai halaman, berapa pun spam FAQ tidak akan membuat model menyitasi Anda. Akses berkas dulu. Lalu fakta yang bisa diekstrak. Lalu ukur lagi.
llms.txt adalah peta publik — dokumen sopan santun. Sebagian retriever melihat. Sebagian mengabaikan. Menjualnya sebagai tuas peringkat adalah cara kategori berdusta. Kami menginventaris yang Anda kirim dan menandai selisih: sitemap yang bertentangan dengan robots, header yang memblokir bot yang Anda undang, HTML yang bukan HTML yang dilihat orang.
HTML publik yang sama untuk orang dan crawler. Tanpa cloaking. Tanpa cabang user-agent. Itu hukum produk, bukan suasana. Ditemukan — mengirim URL, membuka jalur — bukan jaminan sitasi. Itu kesempatan untuk dibaca.
Analitik agen, jika kami tampilkan, datang dari log yang sudah Anda punya. Lalu lintas pelatihan, pengambilan ulang, dan hit pengindeksan adalah kerja berbeda. Mencampur ketiganya jadi „lalu lintas AI” adalah kata kabut lain.
Muatan hemat token untuk agen, dengan HTML manusia tidak berubah, adalah gagasan belakangan di tumpukan ini. Itu bukan cloaking. Itu juga tidak ada di tawaran v1. Jangan membeli cerita tentang situs kedua yang tak terlihat.
Urutan jujur itu membosankan, itulah sebabnya berhasil: bisakah bot mengambil, bisakah orang mengutip penggalan, apakah irisan bulanan berikutnya bergerak. Higiene, bukan dongeng.