In einem Thread auf WebmaterWorld berichten User davon, wie der Googlebot ihre Seite parallel von multiplen IP Adressen durchsucht. Yea they went berzerk on our big site last thursday and friday. their fast activity notified me so I took a peek to see who was scraping the site… I’ve never seen Google spider so fast [...]
Vollständiger Artikel zu Googlebot greift parallel von unterschiedlichen IP Adressen zu
Im neusten Google Webmaster Video geht Matt Cutts auf die Frage ein ob es hilfreich ist, die Robots.txt für kurze Zeit zu ändern um nur einen bestimmten Bereich einer Webseite zu pushen. Matt Cutts sagt dazu dass die Robots.txt am besten so selten wie möglich verändert werden soll. Ständige Veränderungen die kurz danach wieder rückgängig [...]
Seit Google seine Suchmaschine gestartet hat, hat sich der Algorithmus ständig verbessert und erweitert, doch der Algorithmus allein macht aus Google nicht die super Suchmaschine die es heute ist. Einen großen Verdienst zum Erfolg von Google trägt sicherlich der Googlebot, ohne den Google sicherlich die vielen Tricks und Fehler der Webmaster nicht erkennen würde. Im [...]
Google hat in seinem Blog eine neue Funktion in den Google Webmaster Tools angekündigt, die soft 404. Bei diesen „weichen“ 404 handelt es sich um eine nicht vorhandene Seiten die anstelle eines 404 (not found) oder 410 (gone) einen 200 ok Status ausgibt. Kombiniert man das soft 404 Problem mit einem CMS das fehlerhafte URLs [...]
Vollständiger Artikel zu Soft 404 in den Google Webmaster Tools
