Matt Cutts hat gestern ein neues Video veröffentlicht, diesmal zum Thema Robots.txt und die Frage warum der Googlebot die Anweisungen in der Robots.txt in manchen Fällen ignoriert. Die Robots.txt wird hauptsächlich dazu genutzt Bereiche und Seiten auf einer Domain zu sperren. Was Matt Cutts uns in diesem Video klar machen will: Auch wenn eine Seite [...]
Vollständiger Artikel zu Robots.txt reicht nicht aus zum sperren von Seiten
Dezember letzten Jahres hat Microsoft Live Search seinen neuen Spiderbot MSNbot 2.0b angekündigt und auf das Web losgelassen, aber bereits im Februar 2009 meldete einige webmaster world User Probleme mit dem MSNbot 2.0b. Dieser ignorierte nämlich die Robots.txt. Die Antwort auf das warum findet man hier, dort heisst es in den Microsoft Forum For some [...]
Vollständiger Artikel zu MSNbot 2.0b – ignoriert Robots.txt und noindex tag
Interessanter Diskussion zwischen Graywolf und Matt Cutts über Twitter zum Thema indexieren von Seiten und wie man Google verbietet bestimmte Seiten zu crawlen, denn der noindex meta tag verhindert nur das auftauchen im Google Index, gespidert wird die Seite so oder so. Kurze Zeit später hat dann Graywolf die Diskussion mit g1smd und Halfdeck fortgeführt. [...]
