meta name="robots" content="noindex"

[freemn78]

Hi

hat sich im Deutschen Teil des Forums schon mal einer Gedanken über diesen Tag gemacht:

Koodi [Valitse] Laajenna

meta name="robots" content="noindex"
?

Im Englischen wurde das Thema schon diskutiert, aber offensichlich nicht abschließend geklärt. Das kuriose ist, bei mir kommt der Goolebot schon hin & wieder mal vorbei, aber im cache ist nur der Index und alle User-Profile; aber keine Topics?!?

Wäre nicht

Koodi [Valitse] Laajenna

meta name="robots" content="index,follow
viel besser?!?

Ich habs jetzt einfach mal geändert, mal sehen was passiert!

[Lemming]

Diese Angabe ist mit einer PHP-Definition verbunden (sofern richtig im Theme eingebaut). Wenn der Spider z.B. Themen mit .msg -Url (.msg1112785#new) aufruft, wird dieser MetaTag angezeigt. Das dient der Verminderung von doppelt indizierten Inhalten.
Um dir ein Beispiel zu geben, auf dieser Seite ist die noindex-Sache aktiviert:
http://www.simplemachines.org/community/index.php?topic=174827.msg1114224#msg1114224
Dort nicht:
http://www.simplemachines.org/community/index.php?topic=174827.0

[freemn78]

hmm, kann ich leider nicht nachvollziehen; aber wie kommt es dann, das google nur userprofile, jedoch keine topics indiziert? 

[Lemming]

Frag mich was leichteres...überprüfen kann ich das auch nicht, da du, entgegen der Postingregeln hier, vergessen hast, die Adresse zu deinem Forum mitzuteilen. 

Der Code im Template sollte so aussehen:

Koodi [Valitse] Laajenna

  ', empty($context['robot_no_index']) ? '' : '
    <meta name="robots" content="noindex" /> ', '

Wir haben damit keine Probleme.
Der Code sorgt ganz einfach dafür, dass z.B. Themen nicht doppelt von einem SuchSpider indiziert werden, nur weil bei der Thema-Adresse msg1114224#msg1114224 dabei steht. (msg peilt bestimmte Beiträge an).
Die Seite bleibt ja gleich - nur die Adresse ist länger. Damit z.B. Google jetzt nicht beide Adressen indiziert, ist halt nur bei den "Original-Themen" die noIndex-Definition nicht da. Google mag es nämlich nicht, wenn Seiten mit gleichem Inhalt unter mehreren Adressen verfügbar sind.

Zuletzt sei noch erwähnt, dass ich auch kein PHP-Profi bin. Für mich ist das nur die einzig logische Erklärung

[freemn78]

Sorry, war keine Absicht;

www.otworld.de [nofollow]

das duplicate content Gift ist hab ich schon mal gemerkt; da kanns schnell mal passieren das der PR gleich wieder 0 ist. Ich hatte mein Forum schon mal so gestaltet, das es wrapped über ein CMS erreichbar war und auch solo  böse Falle;

der code sieht z.Z. unverändert so aus:

Koodi [Valitse] Laajenna

<meta name="description" content="', $context['page_title'], '" />', empty($context['robot_no_index']) ? '' : '
<meta name="robots" content="noindex" />',

da ich das default template nutze. Wie gesagt; mir erscheint das auch alles logisch, nur leider weiß ich nicht; wieso Google nur die Userprofile & den Index; jedoch keine Topics indiziert 

site:www.otworld.de [nofollow]

[Lemming]

Hm, ich würde Gästen die Befugnis nehmen, Profile anzuschauen.
Zu der Indizierung: Ich würde mal noch etwas abwarten. Tatsächlich erscheint es etwas komisch, dass das einzige Thema, welches über Google zu "finden" ist, nicht vorhanden ist:
www.otworld.de/index.php?topic=2.msg2

Übrigens, eine robots.txt mit diesem Inhalt wäre auch empfehlenswert:

Koodi [Valitse] Laajenna


User-agent: *
Disallow: /harry_potter/yabbse/*action=calendar*
Disallow: /harry_potter/yabbse/*action=admin*
Disallow: /harry_potter/yabbse/*action=help*
Disallow: /harry_potter/yabbse/*action=login*
Disallow: /harry_potter/yabbse/*action=mlist*
Disallow: /harry_potter/yabbse/*action=post*
Disallow: /harry_potter/yabbse/*action=register*
Disallow: /harry_potter/yabbse/*action=search*
Disallow: /harry_potter/yabbse/*action=who*
Disallow: /harry_potter/yabbse/*action=activate*
Disallow: /harry_potter/yabbse/*action=reminder*
Disallow: /harry_potter/yabbse/*action=profile*
Disallow: /harry_potter/yabbse/*action=stats*


Die Pfade müssen natürlich ersetzt werden bzw. ganz entfernt.

Grüsse
Tommy

[freemn78]

warten ist gut  , naja bis zum nächsten PR Update warte ich mal, wenn sich dann nichts tut muss ich mich nocheinmal damit auseinandersetzen. PS.: danke für den Tip mit der robots.txt, das werd ich auf jeden Fall umsetzen.

[freemn78]

Nachtrag: irgendwie scheint es jetzt doch zu funktionieren; Google indiziert seit 2 Tagen auch meine Topics , aber fragt mich nicht warum...

[freemn78]

ich muss nochmal nachhaken; das Thema lässt mir keine Ruhe. Ich hab jetzt mal für 1 Woche das noindex rausgenommen, das Ergebnis waren 100 Seiten mehr auf dem Index. Als ich wegen der beschriebenen Gefahr des Duplicate Content wieder auf noindex gegangen bin, hat sich dies wiederum negativ ausgewirkt...

Viele Grüße
Rene

[freemn78]

Nochmal ich;

ich habe mich jetzt nocheinmal im englischen Board belesen. Fakt ist, der Eintrag dient zur Prävention von Duplicate Content. ABER: wenn ich das so stehen lasse

Koodi [Valitse] Laajenna

<meta name="description" content="', $context['page_title'], '" />', empty($context['robot_no_index']) ? '' : '
<meta name="robots" content="noindex" />',

indexiert Google meine Topics nicht! Das ist ein Fakt. Wenn ich den Eintrag wie folgt modifiziere :

Koodi [Valitse] Laajenna

<meta name="description" content="', $context['page_title'], '" />', empty($context['robot_no_index']) ? '' : '
<meta name="robots" content="index, follow" />',
habe ich das Problem der Gefahr von Duplicate Content; was definitiv nicht zu unterschätzen ist, jedoch indexiert Google Welten besser.
Was aber, wenn ich den Eintrag wie oben ändere, und gleichzeitig in meine robots.txt folgenden Eintrag hinzufüge...

Koodi [Valitse] Laajenna

User-agent: *

Disallow: /*msg

Nach meiner Logik dürfte diese Wildcard doch den geichen Effeekt haben, wie das noindex - Atribut von SMF, oder?

[dailytalk]

Frage an freemn78

Konnest du mit deinen Veränderungen das Problem lösen?

Ich habe jetzt in der Index.template.php ebenfalls folgende Mutation vorgenommen:

empty($context['robot_no_index']) ? '' : '
   <meta name="robots" content="index, follow" />',

Was mich stört ist, mein meta tag analyser findet gar keine meta tag robots. Könnt selber den Test machen und schauen ob er bei euch etwas findet:&nbsp; http://www.submitexpress.com/analyzer/

PS: Bezüglich dem robots.txt file und /*msg
Lies mal dieses Thema:
http://www.simplemachines.org/community/index.php?topic=175048.0

[freemn78]

also; ich hab das Problem im Griff und eigentlich schäme ich mich ein wenig meiner Dummheit...; aber vielleicht war ja noch jemand so "schlau" wie ich.

Ich war der Meinung ich muss alles super optimal machen; in meinem Fall war es jedoch zu viel des Guten. Ich hatte mir von der Mod-Page ein SEO-Add On heruntergeladen und installiert. Damit das nicht umsonst war, hab ich auch eingestellt, dass die URL´s SuMa freundlich umgeschrieben werden. In der Theorie hat das auch funktioniert; die URL´s in der ebenfalls dazugehörenden Sitemap sahen wunderschön aus. ABER: mein V-Server Packet unterstützt diese Funktion leider nicht, was ich aber nicht gemerkt habe, da außer in der Sitemap, keine Fehler auftraten. Blöderweise hab ich in den Webmaster-Tools bei Google genau die fehlerhafte Sitemap angegeben und der brave Bot hat genau diese URL´s indizieren wollen    naja, das Ergebnis ist bekannt. Nachdem ich nun das URL-Rewriting deaktiviert habe; und die richtige Sitemap angegeben hab fing es an besser zu werden; auch mit "meta name="robots" content="noindex"; jetzt stehen auch meine Topics bei Google ...