Googlebot problemi

[cortez]

forum/index.php?topic=13378.msg%msg_id%

... I tako jedno 200 puta. I stvarno, forum vraća 403 kad se pokuša tako. Zar to nije nešto šta je trebalo biti riješeno sa SMF2.0 (instaliran 2.0.7) ili je nešto drugo u pitanju?

robots.txt mi izgleda ovako:

Code Select Expand


User-agent: Googlebot-Mobile

Allow: /forum/*wap

Disallow: /forum/



User-agent: YandexImageResizer

Allow: /forum/*wap

Disallow: /forum/



User-agent: MediaPartners-Google

Allow: /forum/



User-agent: *

Allow: /forum/$

Allow: /forum/*.xml

Disallow: /forum/*action

Disallow: /forum/*board=*wap

Disallow: /forum/*board=*imode

Disallow: /forum/*topic=*wap

Disallow: /forum/*topic=*imode

Disallow: /forum/*;

Disallow: /forum/*PHPSESSID

Allow: /forum/*board*.html$

Allow: /forum/*topic*.html$

Crawl-delay: 5

[.NoName.]

Šta i tako?

[cortez]

Šta "šta i tako" ?

Imam hrpu denied sa izrazom gore navedenim... Nije mi jasno gdje je greška.

[Dzonny]

Ta greška ne postoji po defaultu, nešto je uzrokuje drugo.
Imaš neki mod na forumu, možda neki mod za URL rewrite?
Error log?

[cortez]

Error log prazan, nikakav url rewrite... Jedino koristim Optimus Brave.

Naravno, ne samo na tom topicu, nego i na drugima (cca nešto manje od 200) koji se uredno otvaraju čim se makne taj  %msg_id%.

BTW, ovo gledam crawl denied logove u webmaster toolsima da ne bude zabune.

[Dzonny]

Može url do sajta? I do sitemap-a?
Koristio si mod za sitemap?

[cortez]

http://www.autobusi.org/forum/sitemap.xml

To je sitemap kojeg generira Optimus Brave, radi najbolje jer ne uključuje url-ove kojima nemaju pristup gosti/obični članovi.

Primjer iz crawl error loga:
http://www.autobusi.org/forum/index.php?topic=13378.msg%msg_id%
http://www.autobusi.org/forum/index.php?topic=133.msg%msg_id%

Googlebot couldn't crawl your URL because your server either requires authentication to access the page, or it is blocking Googlebot from accessing your site.

Kad se makne taj %msg_id%, link otvara normalno.


Hvala na pomoći.

[Dzonny]

Hm, da, to je pokušaj da se indeksiraju poruke unutar teme, samo ne znam odakle vuče taj %msg_id% kad ja nigde u tom sitemap-u koji si stavio ne vidim da su indeksirane poruke, već su samo teme, pa mi je čudno.
Da li imaš još neki sitemap koji je prijavljen u google webmaster tools?
Jesi li pitao za potršku u temi za optimus brave?

[cortez]

E da, jesam bedast...

Mijenjao sam prije koji dan format sitemapa (uklonio "SEO sitemap and XML sitemap" baš zbog toga jer ne radi dobro i stavlja url-ove kojima imaju pristup samo administratori i moderatori) pa je moguće da novi sitemap još nije indeksiran kako spada. Stari sam, naravno, maknuo.

Označit ću sve ove greške da su "fixed" pa ću vidjeti za par dana kakva je situacija.

[Dzonny]

To bi bilo okej
Javi, nadam se da će to biti rešeno

[cortez]

Imaš možda kakvu ideju za bolje robots.txt ili je ono ok?

[Cola-Coca]

Imaš možda kakvu ideju za bolje robots.txt ili je ono ok?

EVO:

Code Select Expand

User-agent: Googlebot-Mobile
Disallow: /

sitemap: http://www.nekoime.com/sitemap/?xml

[cortez]

Ma kakvi, evo ga opet sa 403:

forum/index.php?topic=133.msg%msg_id%
forum/index.php?topic=30.%1$d
forum/index.php?topic=150.%1$d
forum/index.php?topic=11608.%1$d
forum/index.php?topic=28.%1$d
forum/index.php?topic=33.%1$d
forum/index.php?topic=1657.%1$d
forum/index.php?topic=8562.%1$d

Sad više nije samo %msg_id%