AKIT
English Eesti

spider

ämblik

olemus
netirobot:
- sirvib s√ľstemaatiliselt WWW veebilehti
- enamasti nende sisu automaatseks indekseerimiseks
- arvestades ka veebiserveri juhiseid failis robots.txt