Googlebot unter der Lupe

Seit Google seine Suchmaschine gestartet hat, hat sich der Algorithmus ständig verbessert und erweitert, doch der Algorithmus allein macht aus Google nicht die super Suchmaschine die es heute ist. Einen großen Verdienst zum Erfolg von Google trägt sicherlich der Googlebot, ohne den Google sicherlich die vielen Tricks und Fehler der Webmaster nicht erkennen würde. Im neusten Artikel auf seomoz hat Rolf Broer die folgenden Thesen zum Googlebot untersucht und anhand von mehrere hundert Domains analysiert.

• Crawl Geschwindigkeit und Sitemap Einfluss – Stimmt die Aussage von Matt Cutts das die Anzahl der Seiten die gecrawled werden proportional zum PageRank sind?
  Nicht immer alles glauben was Matt Cutts sagt.
• Link Anzahl – Mit einem PageRank über 7.5 kann man auch Seiten mit 250-300 Links haben, anstatt wie von Google empfohlen, maximal 100 – Rand Fishkin Google scheint Probleme mit Seiten die zu viele Links besitzen, zu haben
• Semantische Intelligenz – Bewertet Google heading tags (h1 – h6) besser als normale Links? Nein
• Wie gut crawled Google JavaScript? – Google kommt zwar einigermaßen mit JavaScript Links klar, aber man sollte es nicht dazu nutzen die Linkstruktur zu vernetzen.

Sehr interessant auch die Ausage am Ende des Artikels New Insights into Googlebot

A short URL gets crawled earlier than long URL’s, therefore always consider the need for indexation and the need to be crawled if you choose your URL.

Wer also für die Realtime Suche optimiert sollte darauf achten kurze URLs verwenden