Fanatieke spiders

[defensieforum]

Zojuist zag ik dat de Yahoo spider weer vrolijk bezig was op het forum:

Online: Yahoo spider (12), Google AdSense spider, Ask Jeeves

Heeft iemand een idee waarom alleen Yahoo altijd in zulke aantallen aanwezig is, en andere spiders slechts met 1 of 2 tegelijk?

M.v.g.

[Aaron]

Yahoo spidert je site met meerdere servers tegelijkertijd. Je kunt dit overigens wel met een robots.txt beperken.

[Arie]

Hoe en wat moet ik in de robots.txt zetten ?
Waar moet ik de file robots.txt neer zetten, en moet ik verder nog wat aanpassen ?

[Guy Verschuere]

Eigenlijk hoef je die enkel te beperken indien je geen onbeperkte datalimiet hebt op je webhost.

[LiroyvH]

En onbeperkt datalimiet is iets wat niet bestaat.

Bovendien kun je bots ook beperken om CPU load te reduceren,
als je een groot forum hebt en je hebt een paar honderd spiders over je site crawlen dan ken dat een redelijk load veroorzaken,
zeker op de wat oudere servers.

[Aaron]

Hoe en wat moet ik in de robots.txt zetten ?
Waar moet ik de file robots.txt neer zetten, en moet ik verder nog wat aanpassen ?

Het duurde even, maar...

Code (robots.txt) Select Expand


User-agent: Yahoo! Slurp
Crawl-delay: 600


[FroggledotNL]

En onbeperkt datalimiet is iets wat niet bestaat.

Bovendien kun je bots ook beperken om CPU load te reduceren,
als je een groot forum hebt en je hebt een paar honderd spiders over je site crawlen dan ken dat een redelijk load veroorzaken,
zeker op de wat oudere servers.

hxxp:one.com [nonactive] geeft wel onbeperkt dataverkeer.

[LadyAkasha]

Onbeperkt dataverkeer bestaat inderdaad niet, lees maar:
Onbeperkt dataverkeer bestaat niet!