Archiv

Artikel Tagged ‘Internet’

Der Trick mit der robots.txt

19. März 2008 2 Kommentare

Vor einigen Tagen bekam ich eine Email, welche mich vor gefährlichen Viren aus dem Internet warnt. Diese Viren sollen nicht den Anwender, sondern den Webserver befallen. Schön und gut. Diverse Würmer und andere Schadsoftware sind heutzutage in der Lage, durch Lücken in eingesetzter Software auf Webservern dort einzudringen und entsprechend den Rechten des Webservers Daten zu manipulieren, aufzuspielen oder zu löschen.

Als Otto-Normal-Verbraucher kann man sich nur schützen, in dem man die eingesetzte Software (z.B. für einen Blog) aktuell hält. Entsprechende Hinweise für diese Methode fehlten allerdings in der Email, statt dessen wird hier empfohlen, die robots.txt Datei mit folgendem Inhalt zu füllen:

User-agent: *
Disallow: /

Die robots.txt im Hauptverzeichnis einer Domain dient dazu, Suchmaschinen oder Webseiten-Kopierern diverse Einschränkungen und Richtlinien beim Durchsuchen der Webseite zu geben. Diese Einschränkungen lassen sich recht felxiebel gestalten, so lassen sich z.B. getrennte Regeln für einzelne Suchrobots einstellen. Siehe hierzu auch den Artikel bei Wikipedia dazu.

Die obige Anweisung würde nun also jeglicher Suchmaschine verbieten, die URL / zu indexieren, was der kompletten Webseite entspricht! Viren, Würmer und sonstige Schadsoftware kümmert sich rein garnicht um die robots.txt, die Suchmaschinen allerdings sehr wohl. Führt man nun also diesen „Virenschutz“ durch, so verschwindet die eigene Webseite innerhalb von Tagen und Wochen aus nahezu allen Suchmaschinen. Was dies für eine gewerbliche Seite bedeutet, liegt auf der Hand.

Wie diverse andere Blogs berichten, ist die in der Email angegebene 0900er Rufnummer nicht(mehr) existent, allerdings scheinen neue Ausgaben dieser Spammail eine existierende Rufnummer zu beinhalten. Nachzulesen hier.

Also, vorsicht beim hantieren mit der robots.txt Datei und unaufgeforderte Anti-Viren-Tipps lieber gleich löschen, vorallem, wenn die Email eklatante Rechtschreib- oder Grammatikfehler aufweist. Ob hier eine absichtliche Geschäftsschädigung oder eine Abzocke durch die 0900er Nummer durchgeführt werden sollte bleibt derzeit leider nur der Fantasie überlassen.