Archiv

Archiv für die Kategorie ‘Internet’

Der Trick mit der robots.txt

19. März 2008 2 Kommentare

Vor einigen Tagen bekam ich eine Email, welche mich vor gefährlichen Viren aus dem Internet warnt. Diese Viren sollen nicht den Anwender, sondern den Webserver befallen. Schön und gut. Diverse Würmer und andere Schadsoftware sind heutzutage in der Lage, durch Lücken in eingesetzter Software auf Webservern dort einzudringen und entsprechend den Rechten des Webservers Daten zu manipulieren, aufzuspielen oder zu löschen.

Als Otto-Normal-Verbraucher kann man sich nur schützen, in dem man die eingesetzte Software (z.B. für einen Blog) aktuell hält. Entsprechende Hinweise für diese Methode fehlten allerdings in der Email, statt dessen wird hier empfohlen, die robots.txt Datei mit folgendem Inhalt zu füllen:

User-agent: *
Disallow: /

Die robots.txt im Hauptverzeichnis einer Domain dient dazu, Suchmaschinen oder Webseiten-Kopierern diverse Einschränkungen und Richtlinien beim Durchsuchen der Webseite zu geben. Diese Einschränkungen lassen sich recht felxiebel gestalten, so lassen sich z.B. getrennte Regeln für einzelne Suchrobots einstellen. Siehe hierzu auch den Artikel bei Wikipedia dazu.

Die obige Anweisung würde nun also jeglicher Suchmaschine verbieten, die URL / zu indexieren, was der kompletten Webseite entspricht! Viren, Würmer und sonstige Schadsoftware kümmert sich rein garnicht um die robots.txt, die Suchmaschinen allerdings sehr wohl. Führt man nun also diesen “Virenschutz” durch, so verschwindet die eigene Webseite innerhalb von Tagen und Wochen aus nahezu allen Suchmaschinen. Was dies für eine gewerbliche Seite bedeutet, liegt auf der Hand.

Wie diverse andere Blogs berichten, ist die in der Email angegebene 0900er Rufnummer nicht(mehr) existent, allerdings scheinen neue Ausgaben dieser Spammail eine existierende Rufnummer zu beinhalten. Nachzulesen hier.

Also, vorsicht beim hantieren mit der robots.txt Datei und unaufgeforderte Anti-Viren-Tipps lieber gleich löschen, vorallem, wenn die Email eklatante Rechtschreib- oder Grammatikfehler aufweist. Ob hier eine absichtliche Geschäftsschädigung oder eine Abzocke durch die 0900er Nummer durchgeführt werden sollte bleibt derzeit leider nur der Fantasie überlassen.

Wer hat noch nicht, wer Spamt noch mal?

30. Januar 2008 1 Kommentar

Wer kennt das nicht: 100 Mails abgeholt, 99 davon sortiert der Mailclient (z.B. Thunderbird) direkt als Spam aus, die letzte verbliebene Mail ist tatsächlich kein Spam. Der Kampf gegen den Spam ist ein Wettrennen, das von den “guten” nicht gewonnen werden kann. Ich renne trotzdem mit und habe neben Spamassassin nun noch ein eigenes kleines Plugin für den SPP-Patch für Qmail geschrieben. Dieser Patch erweitert qmail-smtpd um Plugins, welche in jeder beliebigen Sprache (Shell, C, PHP, Perl, Python …) geschrieben werden können, hauptsache die Shell kann es ausführen.

Mein Plugin prüft direkt nach dem “DATA”-Befehl des Senders dessen IP-Adresse auf vorhandensein in der RBL-Liste von spamcop.net. Dort sind IP-Adressen von Spamversendersystemen gelistet inklusive Gründe, wieso die IP-Adresse gelistet wurde. Natürlich ist man als Serverbetreiber von der Korrektheit des Anbieters und auf dessen Sorgfalt angewiesen, nach langer Laufzeit konnte ich allerdings bisher keine falschen Einordnungen feststellen. Anhand des folgenden Bildchens erkennt man sehr gut, dass durch den Einsatz des IP-Checks rund 50% des Spamaufkommens schon direkt bei der Kommunikation mit dem Mailserver abgelehnt werden konnte.

Spamstatistik

Mein Plugin kann hier heruntergeladen werden. Geschrieben wurde es mit der Shell und ist relativ einfach erweiterbar und verständlich. Benutzung auf eigene Gefahr!

KategorienInternet, Linux Tags: , , , ,

Sprachverwirrung .. UTF-8 oder doch ISO-8859-1 ?

10. Mai 2007 Keine Kommentare

Immer wieder kommt es vor, das man eine Webseite nicht nur auf Deutsch oder Englisch, sondern z.B. auch in Tschechisch oder Rumänisch verfassen muss. Um hier nicht mit permanent wechselnden Zeichensätzen aus dem Tritt zu kommen, bietet es sich an, das komplette Projekt (Sowohl die Datenbank als auch den Programmcode) in UTF-8 zu verfassen.

Zu dem Thema der verschiedenen Zeichensätze gibt es hier ein hervorragendes HowTo von Guido Flohr, welches auch als PDF zur verfügung steht. Hier wird wirklich alles von A-Z erklärt, was Zeichensätze und den Computer betrifft!

KategorienInternet Tags: ,