olemus
protokoll otsirobotitele teatamiseks, milliseid veebisaidi osi soovib omanik otsingust välja jätta,
- kasutades teatamiseks faili robots.txt
- faktiline standard aastast 1994

ülevaateid
https://en.wikipedia.org/wiki/Robots_exclusion_standard

https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt