robots.txt, llms.txt, sitemap და ჰედერები ჰიგიენაა. კრაულერებს ეუბნებიან, რისი წაკითხვა შეუძლიათ. ეს ChatGPT-ის, Gemini-ის ან სხვისი ალოკატორის ბილეთი არ არის.
თუ ბოტი გვერდს ვერ აღწევს, FAQ-სპამის რაოდენობა მოდელს არ გაციტირებთ. ჯერ ფაილებზე წვდომა. მერე ამოსაღები ფაქტები. მერე ხელახალი გაზომვა.
llms.txt საჯარო რუკაა — თავაზიანობის დოკუმენტი. ზოგი retriever უყურებს. ზოგი იგნორირებს. რანგის ბერკეტად გაყიდვა კატეგორიის ტყუილია. ვაინვენტარებთ იმას, რასაც აგზავნით, და შეუსაბამობებს ვნიშნავთ: sitemap, რომელიც robots-ს ეწინააღმდეგება, ჰედერი, რომელიც მოწვეულ ბოტს ბლოკავს, HTML, რომელიც ადამიანის HTML არ არის.
იგივე საჯარო HTML ადამიანებისთვის და კრაულერებისთვის. კლოუკინგი არა. user-agent განშტოება არა. ეს პროდუქტის კანონია, არა განწყობა. აღმოჩენა — URL-ის წარდგენა, გზის გახსნა — ციტატის გარანტია არ არის. ეს წაკითხვის შანსია.
აგენტების ანალიტიკა, როცა ვაჩვენებთ, თქვენი არსებული ლოგებიდან მოდის. ტრენინგის ტრაფიკი, retrieval მოთხოვნები და ინდექსაციის დარტყმები სხვადასხვა საქმეა. „IA ტრაფიკში“ არევა კიდევ ერთი ნისლის სიტყვაა.
მსუბუქი პეილოადი აგენტებისთვის, ადამიანური HTML უცვლელი, ამ სტეკში მოგვიანებითი იდეაა. კლოუკინგი არ არის. v1 შეთავაზებაშიც არ არის. უხილავი მეორე საიტის ისტორია ნუ იყიდეთ.
პატიოსანი თანმიმდევრობა მოსაწყენია, ამიტომ მუშაობს: ბოტი იღებს თუ არა, ადამიანი ციტირებს თუ არა მონაკვეთს, შემდეგმა თვიურმა ჭრილმა იმოძრავა თუ არა. ჰიგიენა, არა ფოლკლორი.