In einem Thread auf WebmaterWorld berichten User davon, wie der Googlebot ihre Seite parallel von multiplen IP Adressen durchsucht.
Yea they went berzerk on our big site last thursday and friday. their fast activity notified me so I took a peek to see who was scraping the site… I’ve never seen Google spider so fast and from so many IP addresses, they were all valid Google ip’s but there was like 10-20 of them running at once.
Ich vermute es könnte mit Caffeine zu tun haben, denn wer aktuelle und schnelle Ergebnisse haben will muss auch dementsprechend crawlen. Aber vielleicht war es auch einfach nur ein Googlbot Fehler, interessant ist es auf jeden Fall, denn bislang kannte man so ein Verhalten nur vom msnbot.
via GoogleBot Crawling From Different Locations At Same Time
Tags: Caffeine, Googlebot, IP
Trackback- Ip Adressen von Google und Co
Eine Suchmaschine hat heutzutage nicht nur einen Rechner sondern tausende. Eine einzelne Abfrage bei Google läuft zum Beispiel über bis zu 700 Server. Ebenso arbeiten... - Googlebot unter der Lupe
Seit Google seine Suchmaschine gestartet hat, hat sich der Algorithmus ständig verbessert und erweitert, doch der Algorithmus allein macht aus Google nicht die super Suchmaschine... - Googlebot-News – Google News mit eigenem User-Agent
Google hat für Google News einen neuen User-Agent eingeführt mit dem unkomplizierten Namen Googlebot-News. Wer also beispielsweise seine News nur ausschließlich in Google News haben... - Mehr Googlebot Besuche
Immer wieder liest man in Blogs wie Webmaster sich darüber wundern und freuen, wie schnell ihre Artikel im Google Index landen. Eine große Hilfe dabei...
Hinterlasse ein Kommentar