Robots Exclusion Standard
robotikeelu standard
olemus
protokoll otsirobotitele teatamiseks, milliseid veebisaidi osi soovib omanik otsingust välja jätta,
- kasutades teatamiseks faili robots.txt
- faktiline standard aastast 1994
ülevaateid
https://en.wikipedia.org/wiki/Robots_exclusion_standard
https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt