Uutiset:

Want to get involved in developing SMF, then why not lend a hand on our github!

Main Menu
Advertisement:

probleme mit yahoo spider trotz robots.txt

Aloittaja Roman, tammikuu 21, 2008, 05:12:33 IP

« edellinen - seuraava »

Roman

servus 
Ich hab viel zu viele yahoo spiders bei mir im forum.

in der robot txt steht 
User-agent: Slurp
Disallow: /

die txt datei liegt auf  www.bv99.de
und www.bv99.de/forum

ich krieg die nicht los, wer kann helfen?

PowerPyx

die robots.txt muß nicht beachtet werden (von den suchmaschinen). wenn du yahoo aussperren willst, dann mit einer .htaccess -- anleitungen dazu gibts im netz en masse.

Gruß
Pyx

ディン1031

Am besten du benutzt
User-agent: Slurp
Crawl-delay: 800

in deiner robots.txt

Damit erlaubst du yahoo nur alle 800 sec deine seite zu browsen ;).

Bye
DIN1031
Support only via MOD Thread! NO PM Support!
My Forum: ayu][kult Forum
My Mods: My Small Mod Collection
My Parser: DIN1031's ModParser
Current Info: More away the next days, because i've to much work to do :x

Roman


ディン1031

Support only via MOD Thread! NO PM Support!
My Forum: ayu][kult Forum
My Mods: My Small Mod Collection
My Parser: DIN1031's ModParser
Current Info: More away the next days, because i've to much work to do :x

Advertisement: