von Stephan Walcher am 15. Mai 2009
Ein spannender Artikel auf Search Engine Journal wie man den noindex Befehl auch in der Robots.txt benutzte kann. Bisher dachte ich immer das man er nur im <head> Bereich funktionieren würde: <meta name=”robots” content=”noindex” />
Aber es geht auch so:
User-agent: Googlebot
Noindex: /login.php
via Bot Herding: The Ultimate Tool for PageRank Sculpting
Tags: Danglink Links, PageRank, Sculpting, SEO
Trackback Ähnliche Beiträge:
- Robots.txt & noindex – Graywolf , Matt Cutts, g1smd und Halfdeck diskutieren über Twitter
Interessanter Diskussion zwischen Graywolf und Matt Cutts über Twitter zum Thema indexieren von Seiten und wie man Google verbietet bestimmte Seiten zu crawlen, denn der... - Robots.txt reicht nicht aus zum sperren von Seiten
Matt Cutts hat gestern ein neues Video veröffentlicht, diesmal zum Thema Robots.txt und die Frage warum der Googlebot die Anweisungen in der Robots.txt in manchen... - Http und Https – jeweils eine eigene Robots.txt
Die Robots.txt ist eine Anleitung für die ehrlichen Bots, wie zum Beispiel Suchmaschinenbots. Sie sagt den Bots welche Dateien und Ordner der Webmaster nicht im... - Robots.txt kurzzeitig ändern
Im neusten Google Webmaster Video geht Matt Cutts auf die Frage ein ob es hilfreich ist, die Robots.txt für kurze Zeit zu ändern um nur...
Hinterlasse ein Kommentar