Mit der Robots.txt kann man dem Suchmaschinen Bot einige Regeln für die eigene Webseiten mitteilen. Ob es nun das Sperren von Ordnern und Unterordner ist oder die Übermittlung der Sitemap. Das Microsoft Webmaster Center Team hat einen interessanten Artikel zur Robots.txt veröffentlich. So muss man zum Beispiel darauf achten, dass die Robots.txt die richtige Kodierung Besitz, denn der Bot kommt nicht mit jeder Kodierung zurecht. Das Windows Notepad erlaubt es zum Beispiel eine TXT Datei in mehreren Kodierungen zu speichern.
- ANSI
- Unicode
- Unicode big endian
- UTF-8
Unicode und Unicode big endian sollte man vermeiden da einige Bots damit Probleme haben. Aber man muss nicht nur auf die Kodierung der Robots.txt achten, wer zum Beispiel UTF-8 verwendet und seine Ordner oder Dateinamen in Beispielsweise Kyrillischen Zeichen einsetzt, der sollte darauf achten, den zu sperrenden Ordner nicht in Kyrillischen Zeichen zu schreiben.
Falsch:
Disallow: /папка/
Richtig:
Disallow: /%D0%BF%D0%B0%D0%BF%D0%BA%D0%B0/
via Bing – Robots speaking many languages – Webmaster Blog – Bing Community
Tags: Kodierung, Microsoft, Robots.txt, Tipps
Trackback- 6 Tipps die man mit SEO Agenturen beachten sollte
Eine Suche mit Google mit dem Keywords „SEO in ORTSNAME“ zeigt, dass überall SEO angeboten wird, denn irgendwie bietet jeder Webseitenersteller SEO an. Was nicht... - Http und Https – jeweils eine eigene Robots.txt
Die Robots.txt ist eine Anleitung für die ehrlichen Bots, wie zum Beispiel Suchmaschinenbots. Sie sagt den Bots welche Dateien und Ordner der Webmaster nicht im... - Robots.txt kurzzeitig ändern
Im neusten Google Webmaster Video geht Matt Cutts auf die Frage ein ob es hilfreich ist, die Robots.txt für kurze Zeit zu ändern um nur... - Robots.txt reicht nicht aus zum sperren von Seiten
Matt Cutts hat gestern ein neues Video veröffentlicht, diesmal zum Thema Robots.txt und die Frage warum der Googlebot die Anweisungen in der Robots.txt in manchen...
Hinterlasse ein Kommentar