Robots.txt und noindex ist eine schlechte Kombination

März 2, 2012 |  by  |  Google, Suchmaschinen  |  , ,

In seinem Artikel robots.txt vs. noindex  auf SuchmaschinenTricks.de erklärt Stefan Fischländer wie sich die Robots.txt auf das Crawl Verhalten auswirkt. Was viele oft immer wieder vergessen, einer über die Robots.txt gesperrter Bereich kann trotzdem im Google Index landen. Google besucht zwar die URL nicht, holt sich aber alle relevanten Informationen aus den Seiten die auf diese URL verweisen.

Versucht man das Ganze noch mit einem Meta-attribute „noindex“ zu verstärken, passiert nichts, den Google „sieht“ diese Anweisung nicht, da sie es ja die Robots.txt nicht erlaubt. Doch braucht man die robots.txt überhaupt noch? Die Robots.txt ist sicherlich nicht ganz nutzlos, schließlich kann man Sie immer noch dazu nutzen, um Crawler Ressourcen zu sparen.

Die robots.txt ist überall dort sinnvoll, wo wir verhindern wollen, dass ein Crawler auf die geschützten URLs zugreift. Dies kann sein, um Bilder von der Aufnahme in Suchmaschinen auszuschließen oder um einen besonders ressourcenintensiven Teil der Webanwendung vor Überlastung zu schützen

Quelle: robots.txt vs. noindex « SuchmaschinenTricks.de

About the author

Mein Name ist Stephan Walcher und Prometeo ist mein mein Privater Blog auf dem ich über SEO und Suchmaschinen schreibe. Ausserdem bin ich Microsoft MVP für Windows Live. Weitere online Profile findest du unter Google+, Twitter und Facebook.


Hinterlasse eine Antwort