Outoa liikennettä foorumille samalta ip-alueelta

[imako]

Nyt tällä viikolla on ollut foorumillani havaittavissa erittäinkin outoa touhuilua - vieraita on samalta ip-alueelta 60-70 samaan aikaan ja kaikki näistä yrittävät härvätä yhtä sun toista outoa.

Tässä esimerkki (tarkat aiheet, käyttäjät yms. poistettu):

Vieras  (74.6.26.162)     08:34:22     Kirjoittaa viestiä aiheessa
Vieras (74.6.23.118)    08:34:04    Katselee aihetta
Vieras (74.6.26.142)    08:33:49    Katselee aihetta
Vieras (74.6.20.21)    08:32:44    Ei mitään, tai mitään mitä voisit nähdä...
Vieras (74.6.22.37)    08:32:19    Katselee profiilia käyttäjältä
Vieras (74.6.25.228)    08:31:48    Kirjoittaa viestiä aiheessa
Vieras (74.6.24.43)    08:31:48    Katselee aihetta
Vieras (74.6.23.210)    08:31:45    Kirjoittaa viestiä aiheessa
Vieras (74.6.23.43)    08:31:36    Kirjoittaa viestiä aiheessa
Vieras (74.6.28.157)    08:31:22    Kirjoittaa viestiä aiheessa
Vieras (74.6.28.12)    08:31:04    Kirjoittaa viestiä aiheessa
Vieras (74.6.20.198)    08:30:34    Katselee aihetta
Vieras (74.6.29.16)    08:30:26    Katselee aihetta
Vieras (74.6.25.18)    08:30:25    Kirjoittaa viestiä aiheessa
Vieras (74.6.25.201)    08:29:41    Katselee aihetta
Vieras (74.6.28.28)    08:29:33    Kirjoittaa viestiä aiheessa

Enemmän vielä populaa toki, mutta tuosta saa kuvan mitä siellä tapahtuu. Foorumilla (SMF 1.1.3) on sallittu vieraskirjoittaminen, mutta spämmiä estämään asennettu erillinen captcha-moduuli mikä toimiikin hyvin. Voisi varmaan veikata, että kaikkihan nämä spämmätä yrittävät taukoamatta (kun kerran kirjoittavat uusia viestejä, mutta uutta ei tule - kiitos ilmeisimmin Advanced Visual Vertificationin).

Kuitenkin tällainen tarpeeton spämmiverkoston(?) liikenne laittaa mietityttämään ja sen haluaa kitkeä. Olisiko tämä parempi tehdä palvelimen päästä vai SMF:stä? Vai kannattaako ylipäätään tehdä.

Vinkkejä, neuvoja ja tietoa otetaan mielellään vastaan!

[WildCherry]

Hassua.. itselleni kävi yksi päivä saman tapainen tilanne...kävijöitä oli samalla hetkellä ollut 67 kappaletta.. onneksi yksikään ei voi kirjotitaa foorumille mitään ilman rekisteröitymistä..

[niko]

Kyseessä on yahoon indeksointi botteja. Ne on ilmeisesti muuttanu jotain niin nyt ne käy ahkerasti sivuja lukemassa.

http://help.yahoo.com/help/us/ysearch/slurp/slurp-03.html

[Antero]

Yahoon slurppihan se tosiaan. Omalla foorumilla niitä on jo aiemmin käynyt pitemmän aikaa lähes päivittäin, mutta tänään näyttävät pillastuneen... Edellinen eniten paikalla koskaan oli joskus maaliskuulta milloin se oli 97 ja äsköttäin kun menin kattelee foorumille, niin eniten paikalla koskaan: 268 (tänään kello 11:11). Joista botteja varmasti ollu näin lämpimänä kesäaamupäivänä varmaankin lähemmäs 250~. Nytkin niitä on parisataa tutkimassa. Heh.

[Owdy]

Niitä saa rauhotettua jos haluaa. Mullekkin ne tuli hirveinä laumoina, muuta pistin Crawl-delay arvoksi 260 niin rupes botit vähenemään.

[pimpeli]

Mitä tuo "Crawl-delay" käytännössä tekee? Mitä eroa jo muuttaa tuota arvoa pienemmäksi tai suuremmaksi?

[Owdy]

http://help.yahoo.com/l/us/yahoo/search/webcrawler/slurp-03.html

Larger delay values add more delay between successive crawl accesses and decrease the maximum crawl rate to your web server.

[pimpeli]

Lontoo ei taivu 
Jos käsitin, niin isompi arvo antaa robotin indexoida sivusto useammin???

[pimpeli]

Se vaan kun esimerkiksi Google indexoi noin kerran päivässä sivut, mutta    msnbot ja Yahoo ramppaavat jatkuvasti, ainkin 40-50 kertaa päivässä???

Voisko nuita kahta jotenkin rajoittaa?

Kiitos vinkeistä!


EDIT: On siinä näköjään se, että Google käy kerran ja indexoi kaikki sivut, mutta nämä kaks indexoi muutaman sivun vain kerrallaan... outoja robotteja...

[Owdy]

Isompi arvo hidastaa sitä

[Tapsa2]

Meidänkin sivuilla nuo botit silloin kävi kattelemassa.
Mutta kun foorumilla on tuo lukema 137 kävijää enimmillään bottien takia, kun normaalisti kävijöitä on yhtäaikaa enimmillään noin 40.
Siis saisinko tuon 137 luvun jotakin kautta pois että olisi numerot todenmukaisempia?

[Stüldt Håjt]

Laittaa robots.txt:n alkuun:
User-agent: *
Crawl-delay: 60.0

Ja tuon perään sitten ne muut asiat. Tuo antaa minuutin välein tulla botin, jotka tuota crawl-delay-sääntöä noudattavat.

[Tapsa2]

Okei kiitoksia paljon.
Entäs kuinka saisin tuon luvun 137 pois foorumin muistista?
Tietokannasta kai, mutta mistä taulusta?

[Fanitus]

Okei kiitoksia paljon.
Entäs kuinka saisin tuon luvun 137 pois foorumin muistista?
Tietokannasta kai, mutta mistä taulusta?

Tietokannasta. Settings ja mostOnline

[Tapsa2]

Okei. Kiitoksia.
Nyt on homma hanskassa.

[Abaliini]

Kyseessä on yahoon indeksointi botteja. Ne on ilmeisesti muuttanu jotain niin nyt ne käy ahkerasti sivuja lukemassa.

http://help.yahoo.com/help/us/ysearch/slurp/slurp-03.html

Olin juuri sanomassa tuota.

[-session-]

Okei. Kiitoksia.
Nyt on homma hanskassa,

ja hanska laatikossa, laatikko lukossa ja avain hukassa?