Es gibt viele Arten von Bots im Interne, die guten wie z.B. der Googlebot sammelt Informationen um diese dann in Suchmaschinen anzubieten, aber leider gibt es auch böse Bots. Diese dursuchen Websites nach E-Mail Adressen um diese dann voll zu spammen, oder um komplette Inhalte zu klauen um so schnell neue Seiten mit geklautem Inhalt zu erstellen.
Seit 1 Jahr habe ich sowohl auf Winhilfe.ch als auch Winhilfe.info eine Bot Falle eingebaut, das System ist recht einfach, Bots die die robots.txt nicht beachten (jeder ehrliche Bot tut das), und zu neugierig ist wird automatisch gesperrt.
Das System funktioniert echt gut und tag täglich landen Böse Bots in der Bot Falle. Darum habe ich entschieden eine neue Kategorie zu erstellen und diese Grabber Bots aufzuzählen.
Über eine einfache .htaccess Datei kann man dann diese Bots über die Browserkennung aussperren.
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT}
^Alexibot|^telnet|^asterias|^BackDoorBot|^Black.Hole|^BlackWidow
RewriteRule .* – [F,L]
- Ausführliche Liste Bots Liste [htaccess.txt]
- Bots Ausperren
Hier mal ein frischer Eintrag
Agent: Snapbot/1.0
Ip: 66.234.139.206
Trackback- Spamseum.com – Spam Seiten melden
Auf Spamseum.com kann man Spam Seiten melden die dann den drei größten Suchmaschinen... - Winhilfe.ch mit neuem Nachschlagewerk
Schon lange spielte Winhilfe.ch mit dem Gedanken ein Nachschlagewerk für User zu erstellen. Als dann auch von Seiten der User die Nachfrage kam, war klar... - Winhilfe Linkliste
Typografix, fleißiger Moderator bei Winhilfe hat gestern die Winhilfe Linkliste präsentiert. Die Linkliste, die Links zu den Downloadseiten der wichtigsten Programmen liefert, ist vollständig ins... - Cheat Sheets alias Spickzettel
Inspiriert durch den Artikel von Kai habe ich diesen Link aus meinen Favoriten gekramt. Auf dieser Seite gibt es eine Liste von Spickzetteln (Cheat Sheets) für Developer und...
August 11th, 2008 at 16:18
Da gibt es gerade über .htaccess noch mehr Möglichkeiten auszusperren. Ein großes Problem, gerade bezüglich Duplicate Contents, sind Web-Proxys. Einfach von der Seite aussperren und fertig ist die Soße. Hier wird gezeigt wie es geht: http://www.proxy-sperre.de/
Oder gerade Betreiber dynamischer Projekte können MySQL-Injectionen vermieden werden:
RewriteEngine On
RewriteCond %{QUERY_STRING} ^(.*)(\< |%3C).*script.*(\>|%3E) [NC,OR]
RewriteCond %{QUERY_STRING} ^(.*)=http://(.*) [OR,NC]
RewriteCond %{QUERY_STRING} ^(.*)=http\%3A\%2F\%2F(.*) [OR,NC]
RewriteCond %{QUERY_STRING} ^(.*)=ftp://(.*) [OR,NC]
RewriteCond %{QUERY_STRING} ^(.*)=ftp\%3A\%2F\%2F(.*) [OR,NC]
RewriteCond %{QUERY_STRING} ^(.*)=https://(.*) [OR,NC]
RewriteCond %{QUERY_STRING} ^(.*)=https\%3A\%2F\%2F(.*) [OR,NC]
RewriteCond %{QUERY_STRING} ^(.*)sql_injection(.*) [OR,NC]
RewriteCond %{QUERY_STRING} ^(.*)mosConfig_absolute_path=(.*) [OR,NC]
RewriteCond %{QUERY_STRING} ^(.*)module_root_path=(.*) [OR,NC]
RewriteCond %{QUERY_STRING} ^(.*)configdir(.*) [OR,NC]
RewriteRule ^.*$ http://127.0.0.1/ [R,L]
Und die .htaccess rein und Ruhe ist. Hab noch mehr Regeln zusammengestellt, aber sind nicht für jedes Projekt alle notwendig. Nach Durchsicht der Serverlogs gehen (zumindest derzeit) grade alle Versuche mit nem HTTP 302 Status leer aus.