In einem Thread auf WebmaterWorld berichten User davon, wie der Googlebot ihre Seite parallel von multiplen IP Adressen durchsucht. Yea they went berzerk on our big site last thursday and friday. their fast activity notified me so I took a peek to see who was scraping the site… I’ve never seen Google spider so fast [...]
Vollständiger Artikel zu Googlebot greift parallel von unterschiedlichen IP Adressen zu
Im neusten Google Webmaster Video geht Matt Cutts auf die Frage ein ob es hilfreich ist, die Robots.txt für kurze Zeit zu ändern um nur einen bestimmten Bereich einer Webseite zu pushen. Matt Cutts sagt dazu dass die Robots.txt am besten so selten wie möglich verändert werden soll. Ständige Veränderungen die kurz danach wieder rückgängig [...]
Seit Google seine Suchmaschine gestartet hat, hat sich der Algorithmus ständig verbessert und erweitert, doch der Algorithmus allein macht aus Google nicht die super Suchmaschine die es heute ist. Einen großen Verdienst zum Erfolg von Google trägt sicherlich der Googlebot, ohne den Google sicherlich die vielen Tricks und Fehler der Webmaster nicht erkennen würde. Im [...]
