Solche Maßnahmen sind nicht schlecht, bringen aber Google manchmal ein wenig durcheinander. Es kann also eine Weile dauern bis alles wieder zur Normalität zurückkehrt. Trotzdem fand ich das Phänomen bei einem so starken Blog wie den von Kay sehr komisch und ich stellte mehrere Theorien auf woran es liegen könnte, doch es musste sich herausstellen das keine von diesen zum Glück richtig war, sondern das undenkbare eingetreten war.

Die Lösung des Rätsel fand ich gestern dann im Search engine Land Artikel Is Google Broken? Sites Big & Small Seeing Indexing Problems. Das Indexierungsproblem scheint bei Google selbst zu legen, denn wie Google John Mu in den Webmaster Forums schreibt:

I just wanted to provide a short update. This issue should be resolved soon, but it will take a several days for everything to catch up and for these changes to be visible. I’ll provide another update after the weekend. […]I’ve been in contact with the indexing and diagnostics teams since your initial reports — we are taking your reports seriously and doing what is necessary to resolve this problem as soon as possible.

Betroffene Webmaster sollten also nicht in Panik verfallen, sondern einfach abwarten. Ich bin übrigens, wie auch CNN.com, ebenfalls betroffen und das obwohl ich alle Turbo Maßnahmen (Google Sitemap, Twitter, Blogsearch Ping, usw.) nutze um meine Seiten in den Google Index zu bekommen. Um zu testen ob man betroffen ist, einfach die ersten 2 Sätze aus den aktuellsten Artikel in Google direkt eingeben und gucken ob Google den richtigen Artikel findet.

Erstellt man ein neues Projekt gibt es neben den ursprünglichen super-seo-content-seiten plötzlich auch ganz viele nutzlose-seo-seiten. Auch bestehende Projekte die falsch oder vor langer Zeit erstellt worden sind, besitzen vieler dieser Seiten über die man sowieso keine Besucher bekommt, ein Klassiker: die Login Page.

Gehen wir nun davon aus das der Googlebot nur, je nach Autorität, eine begrenzte Anzahl von Seiten crawlen kann, sollte es unser Bestreben sein das dieser auch die richtigen Seiten crawlt. Um herauszufinden wie wo sich der Googlebot am meisten rumtreibt und ob sich diese Seiten traffic-technisch überhaupt lohnen, sollte man seine Webseite vieleicht einer Crawl Allowance Analyse unterziehen. Dabei wird untersucht auf welchen Seiten der Googlebot seine Ressourcen primär investiert und wie diese im Zusammenhang mit den eingehenden traffic performan, denn es wäre fatal, wenn der Googlebot seine Ressourcen auf Seiten vergeudet die kaum traffic liefern. Sehr hilfreich bei der Analyse, die Daten aus den Google Webmaster Tools und Google Analytics.

Zeigt die Crawl Allowance Analyse uns wo der Googlebot viel Zeit verbringt und ob diese in einem richtigen Zusammenhang zum eingehenden traffic steht, ist es aber auch wichtig unnötige Seiten direkt aus dem Google Index zu verbannen. Sehr hilfreich dabei die Google Hacking Technik wie Nerd in Skirt in ihrem Artikel Indexbereinigung: Google Hacking als SEO-Benefit überzeugend demonstriert.

Dabei handelt es sich um eine simple Anreihung von Google Operatoren in Kombination mit dem altbekannten Site: Operator. Mit site:prometeo.de zeigt Google nur die Seiten der jeweiligen Domain an, fügt man nun ein Keyword hinzu erhält man alle Seiten auf der Domain die Google zum Keyword findet site:prometeo.de MVP. Nun gibt es neben dem Site: Operator auch noch andere Operator. So kann man zum Beispiel mit site:prometeo.de filetype:pdf gezielt nach PDFs suchen. Auch sehr beliebt die Suchoperatoren site:prometeo.de inurl:seo die nach Keywords in der URL suchen. Selbstverständlich kann man auch mittels dem – Zeichen auch die Ergebnisse aussortieren, Bsp. site:prometeo.de -inurl:bing.

Eine sehr ausführliche Liste von Operatoren gibt es unter Google Power User Tips: Query Operators.

Tipp: Da Google bekanntlich nur maximal 1.000 Ergebnisse anzeigt, ist es Ratsam bei großen Webseiten die Analyse der Webseite in mehre Bereiche zu unterteilen indem man jede Kategorie/Thema einzeln analysiert. Dazu einfach mit site:prometeo.de/2009/09 usw. bis man unter dem 1.000 Seiten Limit ist.

Nachdem man die unnützen Seiten im Index identifiziert hat es Zeit diese für immer und ewig aus dem Google Index zu verbannen, die effizienteste Methode ist dabei der meta robots Befehl noindex,follow. Damit signalisieren wir Google das die Seite nicht im Index erscheinen soll, aber alle ausgehende Links trotzdem normal weiterverfolgt werden. Somit garantieren wir also das der eingehende Linkjuice nicht verloren geht und die von dieser Seite verlinkten Seiten weiterhin mit Link Power versorgt sind.

<meta name="robots" content="noindex,follow" />

Von der Lösung, die Seiten über die Robots.txt zu sperren sollte man nicht nur wegen Zeitmangel (kann bis ein paar Monate dauern, bis Google die Verbote aus der Robots.txt im Index übernimmt), sondern auch wegen Linkjuice Verlust besser lassen wie der seomoz Artikel Serious Robots.txt Misuse & High Impact Solutions zeigt.

Fazit: Egal ob Duplicate Content oder nicht, es liegt im Interesse eines jeden Webmaster der auf Suchmaschinen traffic setzt, darauf zu achten das nur Seiten im Index einer Suchmaschinen enthalten sind, über die er auch gefunden werden kann. Sicherlich könnte man glauben, dass durch eine möglichst hohe Anzahl von Seiten die Chancen ebenfalls sehr hoch sind das Google diese als Ergebnis anzeigt. Man sollte aber immer bedenken, dass je nach Autorität, Google & Co nur einen Teil der Webseite anzeigt und dieser Teil so hochwertig wie Möglich ist, denn nichts schreckt den User mehr ab als auf einer Seite zu landen die nicht gleich das liefert was er sich versprochen hat.

Canonical URL tag

Der canonical tag wird zwar immer noch wenig genutzt, weniger als 1% der Seiten setzen den DC-Killer ein, aber Zahlen steigen weiter. Ich denke mal das gerade durch die Crossdomain Unterstützung der canonical tag immer wichtiger wird, den auf der Webseite selbst wird man eher dazu tendieren das DC Problem mit noindex,follow und 301 redirects zu beheben.

Nofollow

Der Einsatz des nofollow tags bei internen Links ist ein wenig gesunken, Rand Fishkin vermutet das dies mit der Ankündigung Googles zu tun hat, das Page Sculpting mittels nofollow nicht funktioniert.

Linkscape Index

Der Linkscape Index umfasst nun 41 Milliarden Seiten und 85 Millionen Domains, der größte Index seit es Linkscape gibt.

Änderungen bei Followed und noFollowed

Linkscape hat aufgrund von User Feedback die Interpretation von Followed und nofollowed ein wenig abgeändert:

Followed:

• 301 redirects
• Normale HTML Links
• Seiten mit meta-refresh (google scheint diese wie 301 redirects zu behandeln)
• Seiten mit rel=“canonical“ die auf eine andere Seite verweisen

Nofollowed:

• Links mit rel=“nofollow“
• Links auf Seiten mit dem meta-robots Befehl nofollow
• Feed autodiscovery links für Blogs/Rss Feeds
• 302 redirects

via SEOmoz | Are Webmasters Using Canonical URL Tags, Nofollows? The Latest Linkscape Update Has the Data

A site of mine have lost all images , but 2 in safe search filter on, thats a little weird be cause nothing was done to the site or links added, so now im wondering if a ad could be the reason, I will have a look, I think such things are always interesting to solve and special since last year when you dont have to wait 3 Month for a image update.

Quelle: Google Image update – 28 April, 2010

Nachdem Martin im März die extreme langsame Indexierung der Bildersuche hinterfragt hat, habe ich ihm gleich mal angetwittert, mal gucken ob er diese Beobachtungen bestätigen kann.

via Google Image Search Update May 2010

We do not index 302 redirected pages, so this is probably the main issue for not indexing your home page.

Wer also eine 302 Weiterleitung anstatt einer 301 verwendet sollte dies ändern. Bei einer Weiterleitung von einer Domain auf eine neuen könnte dies auf Bing also fatal sein.

via Bing: "We Do Not Index 302 Redirected Pages"

Diese Zahl sollte man aber mit Vorsicht genießen, schließlich existiert jede Facebook Gruppe in mehreren Sprachen. Facebook nutzt für jede Sprache eine eigene Subdomain. Abhängig von den Mitgliedern kann es also passieren das die gleiche Gruppe zum Beispiel unter 4 URLs erreichbar ist.

Eine kurze Überprüfung auf Bing.de zeigen keine Veränderungen, auch die vielen Subdomains sind noch vorzufindne.

via Bing October 2009 Search Index Update

Mehr dazu bei Frank Google Update Rumpelstilzchen ist back on the road again

Die Robots.txt wird hauptsächlich dazu genutzt Bereiche und Seiten auf einer Domain zu sperren. Was Matt Cutts uns in diesem Video klar machen will: Auch wenn eine Seite durch die Robots.txt gesperrt worden ist, diese aber einen Link von außer erhält, wird sie trotzdem indexiert und somit im Google Index vorhanden sein.

Der Grund für diese ein wenig komische Handhabung ist nämlich der, das der Googlebot wenn er von einer anderen Seite kommt nicht die Robots.txt abruft und nachschaut ob er die Seite aufnehmen soll oder nicht.

Wer also auf Nummer sicher gehen will, der sollte die Seiten die er nicht im Google Index sehen möchte nicht via Robots.txt sperren sondern via Meta-tag.

via SEO am Morgen: Matt Cutts und eine geschärfte Auffassung zur robots.txt