Prometeo » Googlebot

Googlebot greift parallel von unterschiedlichen IP Adressen zu

Stephan Walcher — Wed, 25 Aug 2010 11:14:00 +0000

In einem Thread auf WebmaterWorld berichten User davon, wie der Googlebot ihre Seite parallel von multiplen IP Adressen durchsucht.

Yea they went berzerk on our big site last thursday and friday. their fast activity notified me so I took a peek to see who was scraping the site… I’ve never seen Google spider so fast and from so many IP addresses, they were all valid Google ip’s but there was like 10-20 of them running at once.

Ich vermute es könnte mit Caffeine zu tun haben, denn wer aktuelle und schnelle Ergebnisse haben will muss auch dementsprechend crawlen. Aber vielleicht war es auch einfach nur ein Googlbot Fehler, interessant ist es auf jeden Fall, denn bislang kannte man so ein Verhalten nur vom msnbot.

via GoogleBot Crawling From Different Locations At Same Time

Robots.txt kurzzeitig ändern

Stephan Walcher — Wed, 18 Aug 2010 06:27:00 +0000

Im neusten Google Webmaster Video geht Matt Cutts auf die Frage ein ob es hilfreich ist, die Robots.txt für kurze Zeit zu ändern um nur einen bestimmten Bereich einer Webseite zu pushen. Matt Cutts sagt dazu dass die Robots.txt am besten so selten wie möglich verändert werden soll. Ständige Veränderungen die kurz danach wieder rückgängig gemacht werden können sich negative auf das Verhalten des Googlebots auswirken. Um bestimmte Bereiche einer Webseite in den Fokus zu setzen ist es daher viel besser diesen von der Startseite prominent zu verlinken um den Linkjuice fließen zu lassen.

Can I use robots.txt to optimize Googlebot’s crawl?

via Matt Cutts über robots.txt-Optimierung – SEO.at

Googlebot unter der Lupe

Stephan Walcher — Wed, 21 Jul 2010 09:30:00 +0000

Seit Google seine Suchmaschine gestartet hat, hat sich der Algorithmus ständig verbessert und erweitert, doch der Algorithmus allein macht aus Google nicht die super Suchmaschine die es heute ist. Einen großen Verdienst zum Erfolg von Google trägt sicherlich der Googlebot, ohne den Google sicherlich die vielen Tricks und Fehler der Webmaster nicht erkennen würde. Im neusten Artikel auf seomoz hat Rolf Broer die folgenden Thesen zum Googlebot untersucht und anhand von mehrere hundert Domains analysiert.

Crawl Geschwindigkeit und Sitemap Einfluss – Stimmt die Aussage von Matt Cutts das die Anzahl der Seiten die gecrawled werden proportional zum PageRank sind?
Nicht immer alles glauben was Matt Cutts sagt.
Link Anzahl – Mit einem PageRank über 7.5 kann man auch Seiten mit 250-300 Links haben, anstatt wie von Google empfohlen, maximal 100 – Rand Fishkin Google scheint Probleme mit Seiten die zu viele Links besitzen, zu haben
Semantische Intelligenz – Bewertet Google heading tags (h1 – h6) besser als normale Links? Nein
Wie gut crawled Google JavaScript? – Google kommt zwar einigermaßen mit JavaScript Links klar, aber man sollte es nicht dazu nutzen die Linkstruktur zu vernetzen.

Sehr interessant auch die Ausage am Ende des Artikels New Insights into Googlebot

A short URL gets crawled earlier than long URL’s, therefore always consider the need for indexation and the need to be crawled if you choose your URL.

Wer also für die Realtime Suche optimiert sollte darauf achten kurze URLs verwenden

Soft 404 in den Google Webmaster Tools

Stephan Walcher — Wed, 09 Jun 2010 08:04:00 +0000

Google hat in seinem Blog eine neue Funktion in den Google Webmaster Tools angekündigt, die soft 404. Bei diesen „weichen“ 404 handelt es sich um eine nicht vorhandene Seiten die anstelle eines 404 (not found) oder 410 (gone) einen 200 ok Status ausgibt. Kombiniert man das soft 404 Problem mit einem CMS das fehlerhafte URLs (am besten mit SessionID) erzeugt, kann es schnell passieren das man bei 200 Content Seiten 20.000 Seiten im Index hat. Da die Suchmaschinen jeder Webseite nur eine begrenzte Anzahl an Crawler Ressourcen zur Verfügung stellen, sollte man also aufpassen nicht unnötige Seiten im Index zu haben. Schließlich werden auch neue Seite die nicht auf der Startseite erscheinen auf diese Weise schneller und besser indexiert.

Quelle: Official Google Webmaster Central Blog: Crawl Errors now reports soft 404s

Diese weichen 404 scheinen übrigens ein weit verbreitetes Typo3 Problem zu sein: typo3 404 200 – Google-Suche.

via Weiche 404-Fehler: Neues Feature in den Google Webmaster Tools – Die Internetkapitäne

Google Crawl Allowance mit Analytics, Webmaster Tools und Excel

Stephan Walcher — Sun, 04 Apr 2010 10:49:57 +0000

Google liefert uns zahlreiche Tools mit denen wir unsere Webseite analysieren können. Das berühmteste Werkzeug ist sicherlich Google Analytics, das weitaus mehr als ein einfaches Statistik Tool ist. Mit Hilfe von Filtern, Funnels und benutzerdefinierten Berichten erfahren wir wie die Anwender unsere Webseite erreichen, wie lange sie geblieben sind und welche Aktionen sie durchgeführt habe sogar welche ausgehende Links der User angeklickt hat, können wir mit Hilfe von kleinen Modifikationen erfahren.

Ein weiteres Tool was Google uns für unsere Webseiten zur Verfügung stellt sind die Google Webmaster Tools. Den meisten werden die GWTs wohl daher bekannt sein, das man dort eine Google Sitemap einreicht um Google noch schneller darüber zu informieren, das man neue Seiten veröffentlicht hat.

Doch die Google Webmaster Tools können noch mehr. Seit ein paar Wochen gibt es zum Beispiel unter dem Menüpunkt Google Labs den Punkt Webseiten Leistung. Google zeigt uns hier ein Diagramm wie schnell unsere Webseite geladen wird, denn Geschwindigkeit spielt im Ranking genauso eine Rolle wie Keywords, wenn auch nicht so entscheidungstragend.

Zwischen all den Menüpunkten in den Google Webmaster Tools gibt es einen der mich immer besonders interessiert, die Besuche des Google Bots, in den GWTs Crawler-Zugriff genannt. Denn die Antwort auf die Frage wie oft der Google Bot vorbei kommt ist mich immer sehr wichtig. Schließlich zeigt ein reges Interesse an einer Unterseite, das Google diese Seite als besonders wertvoll bewertet. Leider sind die Informationen in den Webmaster Tools sehr reduziert, denn man erhält nur ein einfaches Diagramm was das Googlebot aufkommt zeigt.

Aus diesem Grund benutze ich Webseiten die auf PHP laufen, CrawlTrack. Ein einfaches Programm mit dem man die Besuche der Suchmaschinenbots überwachen kann und genau sehen kann wie oft der msnbot oder der Googlebot vorbeigekommen ist und welche Seiten er besonders oft besucht. Leider funktioniert CrawlTrack nur auf PHP Webseiten, für ASP habe ich leider noch keine entsprechende Lösung gefunden.

Eine Alternative dazu, sind die Serverseitigen Log Files, doch diese können ganz schön irreführend sein, schliesslich verhält sich der Googlebot manchmal sehr komisch und besucht eine einzelne Seite viele Male bis er sie in den Index aufnimmt. In seinem Artikel Diagnosing Google Crawl Allowance Using Webmaster Tools & Excel auf SEOmoz erklärt Tom C eine tolle Methode wie man mit Hilfe der Google Webmaster Tools, Google Analytics und Microsoft Excel sich ein genaues Abbild der Webseiten Situation zu machen. Tom C verknüpft in seiner beschriebenen Methode die Daten aus Google Analytics mit denen von der internen Verlinkung aus den Google Webmaster Tools.

Die genauen Schritte lest ihr am besten bei Tom in seinem Artikel nach, hier nur eine kleine Schrittfolge. Excel Anfänger Aufgepasst, hier reicht es nicht aus nur ein paar Tabellen zu befüllen und ein Diagramm zu erstellen. Hier wird die von mir überall geschätzten Excel Funktionen Pivot und SVerweis benötigt. Mein Tipp: Probiert es aus und ihr werdet sehen wie einfach es ist, denn danach werdet ihr diese beiden Funktionen immer häufiger nutzen .

Auch sehr spannend der Artikel von Patrick Altoft Using multiple sitemaps to analyse indexation on large sites zum Einsatz von multiplen Google Sitemaps. Gerade bei großen Webseiten bekommt man so einen schnellen Überblick wo es zum Beispiel bei der Indexierung hackt und wo man die intern Verlinkung hin verbessern muss.

Multiple Google Sitemaps kann man auch dazu nutzen um Bespielsweise Webseiten mit mehreren Sprachen, logisch zu unterteilen und mittels Geotargeting, Google genau mitzuteilen welches Unterverzeichnis zu welcher Sprache und welchem Land gehört. Mehr dazu beim Gastbeitrag von Malte Landwehr Geotargeting innerhalb einer Domain auf SEO.de.

Googlebot-News – Google News mit eigenem User-Agent

Stephan Walcher — Wed, 02 Dec 2009 21:21:09 +0000

Google hat für Google News einen neuen User-Agent eingeführt mit dem unkomplizierten Namen Googlebot-News.

Wer also beispielsweise seine News nur ausschließlich in Google News haben möchte aber nicht in der normalen Google Suche kann dies über die Robots.txt folgendermaßen bestimmen:

User-agent: Googlebot
Disallow: /
User-agent: Googlebot-News
Disallow:

Damit bekommen Webmaster die Möglichkeit den Googlebot-News unabhängig vom normeln Googlebot zu steuern.

via Official Google Webmaster Central Blog: New User Agent for News

SEO für Flash – Welche Funktionen unterstützt Google?

Stephan Walcher — Sun, 22 Nov 2009 14:16:00 +0000

Die Zeiten das Flash Webseiten völlig unsichtbar für Suchmaschinen waren sind vorbei. Im Sommer 2008 kündigte Google an, dass sie die Flash Unterstützung ihres Suchmaschinenbots verbessert hatte und in der Tat, tauchten kurze Zeit später Seiten im Index auf die nur aus Flash Videos verlinkt worden waren. Michelle Bowles gibt ihn ihrem Artikel Flash SEO: 5 Tips and Best Practices for Optimizing Flash Websites ein paar nützliche Informationen die man bei Flash Webseiten in Bezug auf Suchmaschinenoptimierung wissen sollte.

Mehr Googlebot Besuche

Stephan Walcher — Thu, 11 Dec 2008 09:57:35 +0000

Immer wieder liest man in Blogs wie Webmaster sich darüber wundern und freuen, wie schnell ihre Artikel im Google Index landen. Eine große Hilfe dabei ist der Google Blogsearch Ping Service (http://blogsearch.google.com/ping), denn damit dauert es ab einem bestimmten Bekanntheitsgrad nur Minuten bis der neue Artikel im Google Index vertreten ist und so Besucher auf die Seite zieht.

Webmaster von “normalen” Seiten die beispielsweise auf Typo3, Joomla oder Drupal betreiben, müssen hingegen darauf hoffen das der Google Bot oft und in kurzen Abständen vorbeikommt. Wie bringt man aber den Googlebot dazu?

Uwe hatte dieses Problem mit seiner Typo3 Seite und festgestellt das die Seiten einfach zu langsam geladen (6 Sekunden) werden. Nachdem er ein paar Umbauarbeiten vollbracht hat reduzierte er das Laden der Seite auf 0,3 Sekunden und siehe da der Googlebot schaute nun alle 10 Sekunden vorbei um die Seite zu spidern.

Die Ladezeit einer Seite ist für den Googlebot ein Zeichen wie stark besucht die Seite ist. Seiten mit langen Ladezeiten wird als stark besuchte Seite interpretiert, warum sollte man sie also noch unnötig weiter belasten.

Wer also eine Servermäßig noch lang nicht ausgelastet ist, aber den Googlebot nur selten auf der eigenen Seite willkommen heißen kann, der sollte man die Ladezeit überprüfen und gegeben falls optimieren.