Dezember letzten Jahres hat Microsoft Live Search seinen neuen Spiderbot MSNbot 2.0b angekündigt und auf das Web losgelassen, aber bereits im Februar 2009 meldete einige webmaster world User Probleme mit dem MSNbot 2.0b. Dieser ignorierte nämlich die Robots.txt.
Die Antwort auf das warum findet man hier, dort heisst es in den Microsoft Forum
For some reason, msnbot/2.0b is visiting the wrong IP addresses to retrieve robots.txt. In other words, it THINKS it is getting robots.txt for www.yoursite.com, but it is really reading the robots.txt file that is served for the default host at the IP address for www.mysite.com (not necessarily www.mysite.com’s robots.txt). Clearly, msnbot/2.0b is using the wrong DNS lookup for its requests.
Microsoft ist das Problem bewusst und versucht es inzwischen zu fixen, leider erklärt das aber nicht wieso der MSNbot 2.0b auch den noindex Meta tag ignoriert und nach 7 Monaten immer noch Seiten im Index von Live Search vorhanden sind, die inzwischen alle via 301 auf die WordPress URLs weitergeleitet werden.
Diese Seite sollte also laut meiner Angaben gar nicht mehr existieren…
Tags: Live Search, Meta Tags, MSNbot, Robots.txt
Trackback- Apple ignoriert Microsoft Windows Vista
Apple bringt mich zwar mit seinen Mac vs. Windows Videos zum lachen, aber wenn ich das bei Golem lese, finde ich das ganze nicht mehr... - MSN Messenger Invasion of the Robots Contest
Bereits im Dezember habe mit dem Encarta Bot rumgespielt, damals wurde mir Mobbing von Bots vorgeworfen, hier mal mein Gespräch von damals. Ste sagt:are u... - Internet Explorer 8 – Kompatibilitätsliste
Im neuen Internet Explorer 8 geht Microsoft neue Schritte im Bereich der Darstellung von Webseiten. Diese neuen Schritte sind aber im Grunde nicht neu, denn... - Google Chrome Frame für Internet Explorer
Mit dem Google Chrome Frame scheint Google die Wünsche eines jeden Webentwickler zu erfüllen. Das Google Chrome Frame ist nämlich ein PlugIn für den Internet...
Hinterlasse ein Kommentar