AKIT
English Eesti

Robots Exclusion Standard

robotikeelu standard

olemus
protokoll otsirobotitele teatamiseks, milliseid veebisaidi osi soovib omanik otsingust välja jätta,
- kasutades teatamiseks faili robots.txt
- faktiline standard aastast 1994

täpsemalt
https://www.slideshare.net/RAAVIthrinath/robotstxt-51965324

https://www.slideshare.net/PriyankaBhatia6/robots-txt-40016263

https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt