Matt Cutts hat gestern ein neues Video veröffentlicht, diesmal zum Thema Robots.txt und die Frage warum der Googlebot die Anweisungen in der Robots.txt in manchen Fällen ignoriert.
Die Robots.txt wird hauptsächlich dazu genutzt Bereiche und Seiten auf einer Domain zu sperren. Was Matt Cutts uns in diesem Video klar machen will: Auch wenn eine Seite durch die Robots.txt gesperrt worden ist, diese aber einen Link von außer erhält, wird sie trotzdem indexiert und somit im Google Index vorhanden sein.
Der Grund für diese ein wenig komische Handhabung ist nämlich der, das der Googlebot wenn er von einer anderen Seite kommt nicht die Robots.txt abruft und nachschaut ob er die Seite aufnehmen soll oder nicht.
Wer also auf Nummer sicher gehen will, der sollte die Seiten die er nicht im Google Index sehen möchte nicht via Robots.txt sperren sondern via Meta-tag.
via SEO am Morgen: Matt Cutts und eine geschärfte Auffassung zur robots.txt
Tags: Google Corp., Index, Matt Cutts, nofollow, Robots.txt, Video
Trackback- Robots.txt kurzzeitig ändern
Im neusten Google Webmaster Video geht Matt Cutts auf die Frage ein ob es hilfreich ist, die Robots.txt für kurze... - Robots.txt & noindex – Graywolf , Matt Cutts, g1smd und Halfdeck diskutieren über Twitter
Interessanter Diskussion zwischen Graywolf und Matt Cutts über Twitter zum Thema indexieren von Seiten und wie man Google verbietet bestimmte... - Seiten aus dem Google Index entfernen
Google bietet in seinen Google Webmaster Tools einige neue Möglichkeiten Seiten aus dem Google Index oder dem Google Cache zu...
Oktober 9th, 2009 at 09:49
Na Klasse. Hat da Big-G mal wieder eine ungewöhnliche Auffassung der Realisierung.
Damit könnte man andere Webseiten ärgern, indem man deren Seiten, die eigentlich nicht in den Index sollen, von irgendwo anlinkt…
Oktober 9th, 2009 at 19:43
Falls man jemand damit ärgern will, könnte ja dieser jemand das Meta-Tag setzen.
Dieses wird ja anscheinend richtig beachtet.
Oktober 9th, 2009 at 19:50
Der Meta-tag noindex wird nur im header Bereich als solcher gewertet. Das war aber nicht immer so, es gab mal eine Zeit da war das aber nicht so