Funktioniert der Canonical tag nicht mehr?

Eins meiner Projekte hat es seit letzten Sonntag ziemlich hart getroffen. Von einem auf den nächsten Tag hat Google alle Unterseiten die mit Top Keywords ranken in den Index Nirvana verfrachtet, das Ergebnis, mehr als 50% traffic Einbruch. Da es sich bei dem Projekt um ein sehr sauberes Projekt handelt und nicht mal den Hauch von irgendetwas Verbotenes an sich hat, ist es natürlich ehr interessant zu verstehen, was genau passiert ist und woran es liegt, sobald alles wieder normal ist werde hier den Ganzen Verlauf hier dokumentieren.

Im Rahmen meiner Analysen bei diesem abgestraften Projekt, ist mir aufgefallen das der Canonical Tag, der sonst immer extrem gut bei Google funktioniert auf einmal völlig machtlos ist. Während ich mit dem Site: Operator rumgespielt habe, habe ich gesehen, dass bei der Domain viele Doppelte Inhalte seitens Google unterdrückt worden waren. Nach einem kurzen Tiefenanlyse war klar, aufgrund eines Fehlerhaften WordPress Plugins wurden an allen URLs eine Variabel dran gehangen.

Normalerweise ist dies dank dem canonical tag kein Problem, denn die Suchmaschine weiß sofort das diese Seite nur eine Kopie ist und wo das Original liegt. Bei Google funktioniert das sogar Domainübergreifend. In der Vergangenheit hatte ich mit dem Canonical Tag immer gute Erfahrungen gemacht und sogar bei einem sehr großen Projekt, bei welchem die gleichen Artikel auf vielen anderen Domains lagen, hatte Google kein Problem damit immer das Original zu erkennen.

Im Quellcode der betroffenen Seite ist alles in Ordnung und der Canonical tag stimmt ebenfalls.

Wie ich oben schon gesagt habe, unterliegt die Domain einer Art von Filter/Bestrafung, es kann also gut sein, das Google bei penalisierten Domains den Canonical tag ignoriert, aber genauso kann es auch sein das im Rahmen von Caffeine jemand vergessen hat das Canonical tag Modul zu installieren .

Duplicate Content mit Variabel eliminieren

Um doppelte Seiten zu eliminieren gibt es mehrere Methoden die ich hier kurz vorstellen möchte

Canonical tag

Beispiel: <link rel='canonical' href='http://dom.tld/o.html' />

Die neuste Methode die von den drei Suchriesen Google, Yahoo und Bing eingeführt werden soll. Während Google bereits V2 unterstützt (Domainübergreifend) verarbeiten Yahoo und Bing noch nicht mal Version 1.

• Vorteil: Wirkt schnell und sehr effektiv bei Google
• Nachteil: Ich muss darauf vertrauen das die Suchmaschine den tag liest und verwendet

Robots.txt

Beispiel: Disallow: /?=*

Schnell einzurichten, aber sehr langsam. Bei grossen Projekten kann es so schon mal mehrere Monate dauern bis die Seiten aus dem Index fliegen. Laut Google soll man übrigens 24h bevor man neue Inhalte veröffentlicht die Robots.txt aktualisieren, da Google die Robots.txt 24h lang cached. Eine Seite die via Robots.txt gesperrt ist, gibt keinen Linkjuice mehr weiter. Sollte also eine Seite mit einer Variabel viel verlinkt worden sein, würde durch dann durch die Robots.txt kein Linkjuice mehr ankommen.

• Vorteil: Schnell eingerichtet
• Nachteil: Langsam und Linkjuice Verlust

301 Weiterleitung

Die 301 Weiterleitung ist zwar sehr aufwendig einzurichten, aber es lohnt sich. Man überlasst nichts dem Zufall und muss auch nicht darauf hoffen das die Suchmaschinen es schon „irgendwie richtig“ machen. Zwar beteuert Google immer wieder, das Webmaster sich keine Sorgen wegen Duplicate Content machen müssen, aber das Beste ist es wohl, wenn man es selbst macht.

• Vorteile: Link Juice bleibt erhalten, wirkt schnell
• Nachteil: Kann zeitintensive sei, zu viele Ketten 301 geben keinen Link Juice mehr weiter