von Stephan Walcher am 2. Dezember 2009
Google hat für Google News einen neuen User-Agent eingeführt mit dem unkomplizierten Namen Googlebot-News.
Wer also beispielsweise seine News nur ausschließlich in Google News haben möchte aber nicht in der normalen Google Suche kann dies über die Robots.txt folgendermaßen bestimmen:
User-agent: Googlebot
Disallow: /
User-agent: Googlebot-News
Disallow:
Damit bekommen Webmaster die Möglichkeit den Googlebot-News unabhängig vom normeln Googlebot zu steuern.
via Official Google Webmaster Central Blog: New User Agent for News
Tags: Googlebot, Googlebot-News, Robots.txt, User-Agent
Trackback Ähnliche Beiträge:
- Google News Cloud, alle Google News in einer „Tag-Wolke“
Google News Cloud U.S. ist eine Seite die alle Artikel aus Google News USA nimmt und sie in einer „tag cloud“ wiedergibt. Die Größe der... - Mehr Googlebot Besuche
Immer wieder liest man in Blogs wie Webmaster sich darüber wundern und freuen, wie schnell ihre Artikel im Google Index landen. Eine große Hilfe dabei... - Matt Cutts warnt vor Robots.txt, Jumbo Sitelinks und weitere Google News
Da es in der letzten Zeit zum Thema Google einige kleine Neuerungen bzw. interessante News gegeben hat die meistens zu kurz waren um einen eigenen... - Googlebot beschleunigen
Im Google Sitemap Menü gibt es seine nette Funktion mit dem man den Google Bot dazu bringen kann seine Crawling Geschwindigkeit zu erhöhen. Also die...
Hinterlasse ein Kommentar