robots.text blockiert

Started by webcheck, January 15, 2016, 10:10:41 PM

Previous topic - Next topic

webcheck

Hi Leute...

brauche mal eure Hilfe!
beim Versuch über Webmastertools Google dazu zu bringen das SMF (2.0) zu crawlen bekomme ich immer wieder die Meldung, "Eine wichtige Seite wird durch robots.txt blockiert!"
Habe die robots.txt im Stammverzeichnis aber Google zeigt mir eine völlig andere beim robots.txt. Tester. Dort ist permanent: Disallow/ drin.

Wo liegt ggf. diese robots.txt bzw. warum wird die im Stammverzeichnis ignoriert.
Problem ist natürlich, dass Google nichts findet obwohl über Webmastertools sonst alles in Ordnung ist. Habe auch in den Statistiken im SMF die Anzeige, dass ein Googlebot da gewesen ist, hat aber nur 1 Seite gefunden!

Liegt es an Mods, die ggf. den Zugriff verhindern. htacces habe ich übrigens nicht gefunden!?

Kennt jemand das Problem?
Danke schon mal.

sv3n74

Was passiert wenn du die robots.txt so schreibst.
User-agent: * Disallow:

Advertisement: