Habe gerade gerade das Google Webmaster-Tool angeschaut. Unter Web-Crawl-Fehler habe ich folgendes angezeigt:
URLs durch robots.txt eingeschränkt:
Insgesamt hat mein robots.txt 131 URLs für die crawler gesperrt. Die meisten davon sind auch okay allerdings gibts auch viele Themenseiten, die nicht gesperrt werden sollten darunter. Die Folge davon ist, dass ich keine Kontextbezogene Werbung mehr erhalte, da die Crawler die Themeninhalte nicht mehr lesen.
Frage mich jetzt, wie das kommt.
Lainaa
user-agent: *
Disallow: /index.php?action=calendar (Sperrung Kalender ist gewollt)
Disallow: /index.php?action=admin (Sperrung Administration ist gewollt)
Disallow: /index.php?action=help (Sperrung Hilfeseite ist gewollt)
Disallow: /index.php?action=login (Sperrung Loginseite ist gewollt)
Disallow: /index.php?action=mlist Was ist das?
Disallow: /index.php?action=post Was ist das?
Disallow: /index.php?action=register (Sperrung Anmeldeseite ist gewollt)
Disallow: /index.php?action=search (Sperrung Suchseite ist gewollt)
Disallow: /index.php?action=who Was ist das?
Disallow: /index.php?action=activate (Sperrung Aktivierungsseite ist gewollt)
Disallow: /index.php?action=reminder (Sperrung PW Reminderseite ist gewollt)
Disallow: /index.php?action=profile* (Sperrung Userprofile ist gewollt)
Disallow: /index.php?action=stats (Sperrung Seitenstatistiken ist gewollt)
Kann mir hier jemand weiterhelfen? Die Crawler sollen die Themenposts lesen können damit Adsense Kontext relevante Werbung schalten kann.
Hat jemand eine Lösung für das Problem?
Muss ich das löschen wenn ich die Themenbeiträge den crawlern zugänglich machen möchte?
Disallow: /index.php?action=post
Disallow: /index.php?action=mlist <- Mitgliederliste
Disallow: /index.php?action=post <- Editor-Seite (Schreiben eines Beitrages)
Disallow: /index.php?action=who <- Wer ist online?-Seite
Danke. Wieso sind dann aber einzelne Themen und Themenbeiträge für die Crawler und Googleboots nicht zugänglich? Muss ich da in der Index.template.php index; no follow in index ;follow abändern?