SEO

SEO Screaming Frog mit Google Analytics und Data Extraction Funktionen

Verfasst von Stephan Walcher

Ich bin schon immer ein großer Fan des SEO Screaming Frog gewesen, der gerade in Kombination mit Microsoft Excel ein mächtiges Instrument bei der Analyse von Webseiten ist, zumindest wenn man nicht eine überschaubare Anzahl von URLs hat ;).

Anfang Juli hat das Team vom Screaming Frog Version 4.0 mit zwei wirklich spannenden neuen Funktionen vorgestellt, Google Analytics und die Custom Extraction Funktion, aber das Team hat nicht lange gezögert und vor wenigen Tagen bereits Version 4.1 veröffentlicht und liefert nun auch eine Liste von Verwaisten Seiten, also URLs die zwar existieren, aber intern nicht verlinkt sind.

Grund genug sich die neuste Version des SEO Screaming Frog mal genauer anzuschauen.

Wer den SEO Screaming noch nicht kennt, dabei handelt es sich um einen Crawler der alle möglichen Informationen einer Webseite sammelt und in Liste bzw. Reports bereitstellt. Die Liste stehen alle als CSV Dateien zur Verfügung und eigenen sich daher sehr gut um sie in Excel weiter zu verarbeiten und so seine eigenen Analysen zu fahren.

SEO Screaming Frog und Google Analytics

Fangen wir mit der ersten großen Neuerung im SEO Screaming Frog 4 an, die Integration von Google Analytics Daten. Neben der Erfassung der Besucherzahlen, kann man Google Analytics Daten auch dazu nutzen um zum Beispiel low-performer Seiten zu identifizieren. Eine URL mit wenigen Besuchern kann mehrere Ursachen haben, die häufigsten Gründe sind dabei:

  • Die Seite erfüllt die Suchintension nicht – eventuell Hohe BounceRate
  • Die Seite ist intern schlecht oder gar nicht verlinkt – Klickpfad Level sehr hoch
  • Die Seite besitzt keine Backlinks

Natürlich kann man die Liste noch nach Belieben erweitern und alle Punkte durch andere Beispiele wiederlegen, aber bei den meisten Webseiten sind diese Ursachen leider sehr häufig vertreten. Es gibt auch immer wieder Artikel zu dem Thema Performance Indikatoren auf die man achten sollte um erfolgreich zu sein. Leider fehlt hier oft ein wichtiger Hinweis: SELBER NACHDENKEN

So kann eine Seite mit einer hohen BounceRate auch was gutes sein, weil der User genau das findet was er sucht und die Seite danach wieder verlässt. Genauso kann eine Seite mit einem niedrigem Oragnic-Anteil eine sehr gute Landigpage sein, leider wurde sie einfach nur schlecht verlinkt und wird daher von Google schlecht gelistet und weil Google die Seite nicht ranked, bekommt sie keine Backlinks. Ihr merkt also, man sollte Kennzahlen immer hinterfrage, denn sie erzählen vielleicht nur einen Teil der ganzen SEO Geschichte. Kommen wir nun aber wieder zurück zu Google Analytics und den SEO Screaming Frog, wie schon erwähnt, ist eine der wichtigsten neuen Funktionen der aktuellen SEO Screaming Frog Version 4.1 die Integration von Google Analytics.

Die Anbindung an Google Analytics ist kinderleicht über Configuration >> API Access einzurichten

image

GA Account mit Screaming Frog verknüpfen

imageZeitraum eingeben

image

Metriken auswählen
image

Dimensionen

image

Und dann noch ein paar Details

Beim nächsten Crawl werden nun alle gewünschte Daten aus Google Analytics gezogen. Die Wahl des Menüpunktes „API Access“ lässt übrigens vermuten, dass hier bald noch weitere Anbindungen kommen werden.

image

Crawl läuft

image

Im Reiter „Analytics“ erhalten wir nun eine Liste allen unseres URLs mit den vorher ausgewählten Metriken und Dimensionen. Eigentlich nichts neues, besonders wenn man bedenkt, dass man sich so eine Liste auch aus Google Analytics direkt ziehen kann, aber der SEO Screaming Frog macht diesen Import nicht nur sehr einfach, sondern nutzt diese zweite URL Liste um sie mit den gefundenen URLs aus dem Crawl zu vergleichen und daraus einen sehr nützlichen Report zu erstellen: Orphan Pages Report.

Besonders praktisch, der SEO Screaming Frog erweitert die URL Liste aus Google Analytics gleich mit Informationen aus seinem Crawl wie Status Code und Title. Auf diese Weise kann man zum Beispiel prüfen ob wichtige URLs auch weiterhin erreichbar sind und nicht plötzlich einen 404 StatusCode wiedergeben. Natürlich kann man sich die Daten auch im Internal Report angucken, denn alle Daten werden dort zusammengeführt. Ideal für einen CSV Export und dann mittels der Pivot Funktion in Excel entsprechende Analysen und Darstellungen zu generieren.

Custom Extraction

Kommen wir nun zur weiteren Neuerung des SEO Screaming Frog, die Custom Extraction Funktion. Dabei handelt es sich um eine einfache Funktion mit dessen man Hilfe Informationen auf URLs extrahieren kann und dann als zusätzliche Spalte in der URL Übersicht angezeigt bekommt.

image

Ich habe man zum Beispiel den Autor, das Veröffentlichungsdatum, die Kategorie und die Anzahl der Kommentare in meinem Blog über Xpath mit angegeben die dann beim Crawl extrahiert werden sollen. Da ich bekanntlich kein Entwickler bin und um die Themen Regex, XPath usw. einen großen Bogen mache muss man sich zu helfen wissen. Wie gut, dass es den Firebug für den Firefox gibt mit dem man einfach mal sich den XPath Pfad eines Elementes kopieren kann und 1:1 in den Screaming Frog eintragen kann.

image

Wie auch schon die Google Analytics Daten, wandern diese Daten ebenfalls in den „Internal“ Report und werden dort am Ende als Spalte angezeigt:

image

Da diese Funktion total flexibel ist, kann man theoretisch noch viele weitere Sachen machen, wie zum Beispiel die Anzahl der Kommentare auf einer Seite mit erfassen. Voraussetzung, diese werden im HTML Code angezeigt.

Das Ergebnis ist ein großes Crawl mit unterschiedlichen Reports und einer Gesamtübersicht wo pro URL alle Zusätzlichen Daten aus Google Analytics und den Custom Extraction enthalten sind.

Daten Analyse

Für eine bessere Übersicht empfiehlt es sich, die Daten nun nach Excel zu importieren. Achtet dabei immer darauf die CSV Datei über Daten >> Externe Daten abrufen >> Aus Text zu importieren um eventuelle Kodierungsfehler (UTF-8) zu vermeiden.

Nach dem Import empfiehlt es sich übrigens ein wenig Datenpflege zu betreiben. Achtet zum Beispiel das Datum auch als solches erkannt worden ist, das gibt euch bei der Erstellung einer PivotTabelle nochmal viele weiter Möglichkeiten.

image

Wichtig: Eine Pivot Tabelle verlangt einen einzigartigen Spaltennamen

Die PivotTabelle ist nicht nur eine einfache Methode um Diagramme zu erstellen, sondern man kann auch sehr gut Daten gruppieren, sehr praktisch um zum Beispiel Historische Verläufe darzustellen.

Zieht zunächst die Spalte mit dem Datum eurer Veröffentlichung in das Feld „Zeilenbeschriftung“ und die Spalte „Adresse“ in das Feld Werte:

image

Das Ergebnis sollte nun wie folgt aussehen. Wichtig: Das Datum muss für diesen Schritt als Datum erkannt worden sein, falls nicht wiederholt den Import der CSV wie oben beschrieben.

image

Anzahl der Veröffentlichen URLs auf Tagesbasis

Im Nächsten Schritt werden wir nun die Tage auf Monat, Quartal und Jahreseben gruppieren. Klickt dazu mit der rechten Maustaste auf ein Datum in der Pivot Tabelle und klickt auf gruppieren:

image

Datum gruppieren

Im nächsten Schritt wählt nun die Art der Gruppierung, wählt dazu die Felder Tage, Monate, Quartale und Jahre aus:

image

Das Ergebnis ist zwar noch nicht besonders hübsch, aber wie man gut sehen kann werde die Daten schon gruppiert dargestellt:

image

Im nächsten Schritt vollziehen wir nun ein wenig Kosmetik und erzeugen aus unserer Tabelle ein PivotChart:

image

Da wir beim Extrahieren der Daten auch die Kategorien mit erfasst haben, können wir nun mit Hilfe eines gestapelten Säule Diagramms unsere Daten entsprechend visualisieren:

image

Die Kategorien (1) ziehen wir dazu in das Feld „Legendenfelder), in das Feld „Achsenfelder“ (2) lassen wir nur Jahre und Quartale um den Detailgrad niedrig zu halten und in das Feld „Werte“ ziehen wir das Feld „Adresse“ (3).

Durch den Einsatz der Sekundärachse kann man übrigens auch andere Metriken mit anzeigen lassen wie zum Beispiel die Anzahl der Kommentare:

image

Die Google Analytics Daten kann man übrigens auch sehr gut nutzen um zum Beispiel die Traffic Verteilung auf Kategorie-Ebene zu visualisieren:

image

Die Analysen und Visualisierungen waren schon vorher möglich, aber waren zum Teil sehr Zeitintensiv und es führte selten ein Weg am SVerweis vorbei, da man viele Datenquellen zusammenführen musste. Mit der neuen Version des SEO Screaming Frog spart man viel Zeit und kann mit Hilfe der PivotTabelle in Microsoft Excel auch größere Datenmenge gruppiert visualisieren.

Eure Meinung? Wie nutzt ihr die neue Data Extraction und Google Analytics Funktion im SEO Screaming Frog? 

Feedback, Fragen, Ideen?