"PrettyURLs in Robots.txt ye Etkisi" Sorunu

Started by ErtugrulBEKTIK, February 01, 2016, 04:23:14 PM

Previous topic - Next topic

ErtugrulBEKTIK

Ben GSiteCravler ile site haritası çıkardım. Site haritasında wap2, msg gibi gibi linkleri de çıkarmış. Halbuki robots.txt dosyasında bu sayfaları engellemiştim. Ama PrettyURLs kullandığım için linkler değişiyor ya acaba onun bir etkisi mi var yoksa başka bir etken mi var? Aşağıda robots.txt içeriğimi paylaşıyorum.

Code (robots.txt) Select

User-agent: Googlebot-Image
Disallow: /beyblade_forum/

User-agent: YandexImages
Disallow: /beyblade_forum/

User-agent: msnbot-MM
Disallow: /beyblade_forum/

User-agent: Googlebot-Mobile
Allow: /beyblade_forum/*wap
Disallow: /beyblade_forum/

User-agent: YandexImageResizer
Allow: /beyblade_forum/*wap
Disallow: /beyblade_forum/

User-agent: MediaPartners-Google
Allow: /beyblade_forum/

User-agent: *
Allow: /beyblade_forum/$
Allow: /beyblade_forum
Allow: /beyblade_forum/*.xml
Disallow: /beyblade_forum/attachments/
Disallow: /beyblade_forum/avatars/
Disallow: /beyblade_forum/Packages/
Disallow: /beyblade_forum/Smileys/
Disallow: /beyblade_forum/Sources/
Disallow: /beyblade_forum/Themes/
Disallow: /beyblade_forum/sachat/
Disallow: /beyblade_forum/profile/
Disallow: /beygaleri/index.php/form/
Disallow: /beyblade_forum/msg
Disallow: /beyblade_forum/profile
Disallow: /beyblade_forum/help
Disallow: /beyblade_forum/search
Disallow: /beyblade_forum/mlist
Disallow: /beyblade_forum/sort
Disallow: /beyblade_forum/recent
Disallow: /beyblade_forum/register
Disallow: /beyblade_forum/groups
Disallow: /beyblade_forum/stats
Disallow: /beyblade_forum/unread
Disallow: /beyblade_forum/topicseen
Disallow: /beyblade_forum/showtopic
Disallow: /beyblade_forum/prev_next
Disallow: /beyblade_forum/imode
Disallow: /beyblade_forum/wap
Disallow: /beyblade_forum/wap2
Disallow: /beyblade_forum/all
Disallow: /beyblade_forum/action
Disallow: /beyblade_forum/PHPSESSID
Disallow: /beyblade_forum/msg
Disallow: /beyblade_forum/*profile
Disallow: /beyblade_forum/*help
Disallow: /beyblade_forum/*search
Disallow: /beyblade_forum/*mlist
Disallow: /beyblade_forum/*sort
Disallow: /beyblade_forum/*recent
Disallow: /beyblade_forum/*register
Disallow: /beyblade_forum/*groups
Disallow: /beyblade_forum/*stats
Disallow: /beyblade_forum/*unread
Disallow: /beyblade_forum/*topicseen
Disallow: /beyblade_forum/*showtopic
Disallow: /beyblade_forum/*prev_next
Disallow: /beyblade_forum/*imode
Disallow: /beyblade_forum/*wap
Disallow: /beyblade_forum/*wap2
Disallow: /beyblade_forum/*all
Disallow: /beyblade_forum/*action
Disallow: /beyblade_forum/*PHPSESSID
Crawl-delay: 5


Not: Forum ana dizinde olmadığı için kodlar öyle.
Not: Yukarıda görüldüğü gibi her ihtimale karşı * sız hallerini de yaptım (belki işe yarar diye :) ama işe yaramadı.)

Advertisement: