servus
Ich hab viel zu viele yahoo spiders bei mir im forum.
in der robot txt steht
User-agent: Slurp
Disallow: /
die txt datei liegt auf www.bv99.de (http://www.bv99.de)
und www.bv99.de/forum (http://www.bv99.de/forum)
ich krieg die nicht los, wer kann helfen?
die robots.txt muß nicht beachtet werden (von den suchmaschinen). wenn du yahoo aussperren willst, dann mit einer .htaccess -- anleitungen dazu gibts im netz en masse.
Gruß
Pyx
Am besten du benutzt
User-agent: Slurp
Crawl-delay: 800
in deiner robots.txt
Damit erlaubst du yahoo nur alle 800 sec deine seite zu browsen ;).
Bye
DIN1031
delay hab ich auch schon probiert
mag nicht
Das dauert bis das wirkt ;).
Gruß
DIN1031