Google Crawl Allowance mit Analytics, Webmaster Tools und Excel

Google liefert uns zahlreiche Tools mit denen wir unsere Webseite analysieren können. Das berühmteste Werkzeug ist sicherlich Google Analytics, das weitaus mehr als ein einfaches Statistik Tool ist. Mit Hilfe von Filtern, Funnels und benutzerdefinierten Berichten erfahren wir wie die Anwender unsere Webseite erreichen, wie lange sie geblieben sind und welche Aktionen sie durchgeführt habe sogar welche ausgehende Links der User angeklickt hat, können wir mit Hilfe von kleinen Modifikationen erfahren.

Ein weiteres Tool was Google uns für unsere Webseiten zur Verfügung stellt sind die Google Webmaster Tools. Den meisten werden die GWTs wohl daher bekannt sein, das man dort eine Google Sitemap einreicht um Google noch schneller darüber zu informieren, das man neue Seiten veröffentlicht hat.

Doch die Google Webmaster Tools können noch mehr. Seit ein paar Wochen gibt es zum Beispiel unter dem Menüpunkt Google Labs den Punkt Webseiten Leistung. Google zeigt uns hier ein Diagramm wie schnell unsere Webseite geladen wird, denn Geschwindigkeit spielt im Ranking genauso eine Rolle wie Keywords, wenn auch nicht so entscheidungstragend.

Zwischen all den Menüpunkten in den Google Webmaster Tools gibt es einen der mich immer besonders interessiert, die Besuche des Google Bots, in den GWTs Crawler-Zugriff genannt. Denn die Antwort auf die Frage wie oft der Google Bot vorbei kommt ist mich immer sehr wichtig. Schließlich zeigt ein reges Interesse an einer Unterseite, das Google diese Seite als besonders wertvoll bewertet. Leider sind die Informationen in den Webmaster Tools sehr reduziert, denn man erhält nur ein einfaches Diagramm was das Googlebot aufkommt zeigt.

Aus diesem Grund benutze ich Webseiten die auf PHP laufen, CrawlTrack. Ein einfaches Programm mit dem man die Besuche der Suchmaschinenbots überwachen kann und genau sehen kann wie oft der msnbot oder der Googlebot vorbeigekommen ist und welche Seiten er besonders oft besucht. Leider funktioniert CrawlTrack nur auf PHP Webseiten, für ASP habe ich leider noch keine entsprechende Lösung gefunden.

Eine Alternative dazu, sind die Serverseitigen Log Files, doch diese können ganz schön irreführend sein, schliesslich verhält sich der Googlebot manchmal sehr komisch und besucht eine einzelne Seite viele Male bis er sie in den Index aufnimmt. In seinem Artikel Diagnosing Google Crawl Allowance Using Webmaster Tools & Excel auf SEOmoz erklärt Tom C eine tolle Methode wie man mit Hilfe der Google Webmaster Tools, Google Analytics und Microsoft Excel sich ein genaues Abbild der Webseiten Situation zu machen. Tom C verknüpft in seiner beschriebenen Methode die Daten aus Google Analytics mit denen von der internen Verlinkung aus den Google Webmaster Tools.

Die genauen Schritte lest ihr am besten bei Tom in seinem Artikel nach, hier nur eine kleine Schrittfolge. Excel Anfänger Aufgepasst, hier reicht es nicht aus nur ein paar Tabellen zu befüllen und ein Diagramm zu erstellen. Hier wird die von mir überall geschätzten Excel Funktionen Pivot und SVerweis benötigt. Mein Tipp: Probiert es aus und ihr werdet sehen wie einfach es ist, denn danach werdet ihr diese beiden Funktionen immer häufiger nutzen .

Auch sehr spannend der Artikel von Patrick Altoft Using multiple sitemaps to analyse indexation on large sites zum Einsatz von multiplen Google Sitemaps. Gerade bei großen Webseiten bekommt man so einen schnellen Überblick wo es zum Beispiel bei der Indexierung hackt und wo man die intern Verlinkung hin verbessern muss.

Multiple Google Sitemaps kann man auch dazu nutzen um Bespielsweise Webseiten mit mehreren Sprachen, logisch zu unterteilen und mittels Geotargeting, Google genau mitzuteilen welches Unterverzeichnis zu welcher Sprache und welchem Land gehört. Mehr dazu beim Gastbeitrag von Malte Landwehr Geotargeting innerhalb einer Domain auf SEO.de.