cd /hier/liegt/das/alte/zeug
tar cpf – * | mbuffer -m 200M | ssh @ tar xpf – -C /hier/soll/das/alles/hin

Nutzt man “mbuffer”, so sieht man sowohl den aktuellen Pufferfüllstand, als auch die aktuelle Übertragungsgeschwindigkeit im Netzwerk. Per “-m 200M” wird der Puffer auf dem aktuellen System auf 200 Megabyte gesetzt. Je größer der Puffer, desto mehr RAM muss die aktuelle Maschine haben.

Die Ausgabe sieht dann Beispielhaft wie folgt aus:

in @ 286 MB/s, out @ 91.4 kB/s, 64.0 kB total, buffer 100% full
[....]
in @ 0.0 kB/s, out @ 1304 kB/s, 3227 MB total, buffer 0% full
summary: 3227 MByte in 6 min 34.3 sec – average of 8380 kB/s

Den “mbuffer” kann man natürlich auch weglassen, dann fehlen allerdings jegliche informelle Anzeigen:

cd /hier/liegt/das/alte/zeug
tar cpf – * | ssh @ tar xpf – -C /hier/soll/das/alles/hin

In dem entsprechenden BUG-Report befindet sich die Lösung als ebuild (attachment). Sofern noch nicht vorhanden, legt euch z.B. unter /usr/local/portage ein neues portage overlay an und tragt dies in /etc/make.conf ein. Dann legt die Verzeichnisse net-ftp/proftpd an (mkdir -p net-ftp/proftpd) und kopiert das ebuild aus dem BUG-Report dorthin. Dann noch ein ebuild ./<name des ebuild> digest und ihr könnt proftpd erfolgreich installieren.

Ich brauchte aber eine Sortierung nach dem Domainteil. Ein kurzes Stöbern in der man-page zu sort brachte dann auch die Lösung:

cat emails.txt | sort -t ‘@’ -k +2

sort soll das Zeichen @ als Trenner nehmen und dann nach dem Feld 2 sortieren. Und schon hab ich meine Liste von Email-Adressen nach deren Domain sortiert und kann diese Liste nun z.b. in Openoffice Calc weiterverarbeiten.

Wie sehe ich, wer oder was auf die Festplatte schreibt?

Schnell und einfach hilft es, per sysctl den Kernel anzuweisen, alle aktivitäten zu protokollieren. Je nach Auslastung des Servers kann das natürlich innerhalb kürzester Zeit die entsprechenden Logfiles zumüllen, also vorsicht!

Der nötige Befehl lautet: sysctl vm.block_dump=1

Das ganze kann dann z.B. so aussehen:

mysqld(9336): dirtied inode 17911863 (sessions.frm) on sdb1
mysqld(9336): dirtied inode 17911864 (sessions.MYI) on sdb1
mysqld(9336): dirtied inode 17911865 (sessions.MYD) on sdb1
mysqld(9336): dirtied inode 17911872 (user.frm) on sdb1
mysqld(9336): dirtied inode 17911873 (user.MYI) on sdb1
mysqld(9336): dirtied inode 17911874 (user.MYD) on sdb1

Ein weiterer Freund hierbei ist fuser. Das Werkzeug kann unter anderem auch alle Prozesse beenden, welche z.B. das Dateisystem auf /home nutzen .. und es kann ebenfalls anzeigen, was im System passiert.

fuser -muv /dev/sdb1

Dieser Befehl zeigt mir an, was im Moment des Aufrufs auf der Platte sdb und Partition 1 passiert, z.B.:

/dev/sdb1:           mysql      1141 F.c.. (mysql)mysqld
                     nobody     6448 F...m (nobody)httpd
                     nobody     8278 F...m (nobody)httpd
                     nobody     8545 F...m (nobody)httpd
                     qscand    11449 F.c.. (qscand)perl5.8.8

Sortieren der Useflags bei Gentoo in der make.conf

Oft genug kommt es vor, das man hier oder da mal ein USE-Flag in der make.conf setzt und natürlich in keinster weise das neue Flag alphabetisch einsortiert. Das folgende kleine Script gibt alle benutzen USE-Flags aus der make.conf sortiert aus. Ein kurzes copy&paste und schon herrscht wieder Ordnung:

cat /etc/make.conf | grep "USE=" | grep -v "^#" | awk '{ for (i = (NF -1); i >= 2; i-- )  print $i}' | sort | xargs echo

Dieser Tipp stammt aus dem Gentoo-Forum.

Woher bekomme ich noch mehr Tips und Tricks?

Das Forum von Gentoo ist nicht nur für Nutzer dieser Distribution geeignet, es enthält auch jede Menge Insiderwissen sowie Dokumentationen rund um den Kernel, Filesysteme und Software. Vorbeischaun lohnt sich!

Und was ist mit Windows?

Für die Windows-Fans hab ich hier noch eine Seite, welche recht zuverlässig dabei hilft, eingesetzte Software auf dem aktuellen Stand zu halten. Auf filehippo.com gibt es den Update Checker, eine kleine .NET Anwendung, welche das System nach bekannter Software durchsucht und mit einer Versionsliste der filehippo.com Seite vergleicht. Nach der Durchsuchung werden die Ergebnisse im Browser angezeigt und bei Bedarf kann eine neue Version des einen oder anderen Programmes installiert werden. Neben den Downloadlinks wird u.a. auch die genaue Versionsnummer der Software angezeigt. Was mich betrifft, so habe ich bisher keine unerlaubten Aktivitäten des Tools festgestellt und es tut seine Dienste wie es soll. Ob man den Leuten von filehippo.com vertraut bleibt einem natürlich selbst überlassen

Dann habe ich mir per tcpdump den kompletten TCP Datenverkehr zwischen meinem Server und dem FTP-Server mitschneiden lassen, das Datenfile dann auf meinen Arbeitsrechner kopiert und per Wireshark geöffnet. Wireshark kann neben vielen, vielen Dingen auch gezielt TCP-Verbindungen aus einer vielzahl von Verbindung ausfiltern und die enthaltenen Daten anzeigen. Ein kurzer Blick zeigte: die FTP-Verbindung läuft genauso ab wie sie sollte, trotzdem antwortete der Server mit “login incorrect”.

Doch die Lösung des Rätsels war nur Sekunden entfernt: die Anzeige der Konversation in richtung FTP-Server zeigte, dass sich hinter dem Passswort ein Leerzeichen eingeschlichen hatte, was natürlich das Passwort ungültig machte. Minutenlanges rätseln und dann so eine einfache Lösung, mit einem Overkill an Aufwand herausgefunden.

Fazit: Hätte ich einfach mal geprüft, ob hinter dem Passwort ein Leerzeichen steht, so hätte ich mir die ganze Arbeit ersparen können! Manchmal sind es eben die kleinen Dinge, die einen verrückt machen

Mein Plugin prüft direkt nach dem “DATA”-Befehl des Senders dessen IP-Adresse auf vorhandensein in der RBL-Liste von spamcop.net. Dort sind IP-Adressen von Spamversendersystemen gelistet inklusive Gründe, wieso die IP-Adresse gelistet wurde. Natürlich ist man als Serverbetreiber von der Korrektheit des Anbieters und auf dessen Sorgfalt angewiesen, nach langer Laufzeit konnte ich allerdings bisher keine falschen Einordnungen feststellen. Anhand des folgenden Bildchens erkennt man sehr gut, dass durch den Einsatz des IP-Checks rund 50% des Spamaufkommens schon direkt bei der Kommunikation mit dem Mailserver abgelehnt werden konnte.

Mein Plugin kann hier heruntergeladen werden. Geschrieben wurde es mit der Shell und ist relativ einfach erweiterbar und verständlich. Benutzung auf eigene Gefahr!

Die Entwickler und ich empfehlen, sofern möglich, auf PHP 5.2 zu aktualisieren. Der 5er Zweigt bringt haufenweise Verbesserungen im OOP-Bereich sowie der Speicherverwaltung und anderer Bereiche. Die kommende Version 6 wird im OOP-Bereich nochmals einen Zahn zulegen und wird die erste PHP-Version, welche offiziell komplette mit UTF-8 zurecht kommt. Bisher sind hier leider oftmals Umwege über die mbstring-Funktionen nötig.

Und zum Abschluß noch eine durchaus wichtige Anmerkung: Wer einen eigenen Server betreibt und PHP selbst compiliert und installiert sollte stets darauf achten, immer die aktuellste PHP-Version zu verwenden. Das gefährlichste am Internet heutzutage sind nicht behobene Sicherheitslücken!

Und schon geht der Los, der Linuxadmin-Spaß.

Eine graue Kiste, eine nicht wirklich hilfreiche Fehlerbeschreibung und dann auch noch keinerlei Hinweise, welche Linuxdistribution der ehemalige Administrator denn installiert hat. Panik ist hier fehl am Platz, mit Ruhe und etwas Planung lässt sich recht einfach an die Sache rangehen. Das es sich bei dem Computer um einen PC handelt, ist beim Anblick des Gehäuses recht schnell klar. Linux ist also auch installiert, soviel steht fest. Für den Anfang sollte man sich einen generellen Systemüberblick verschaffen:

• Um welche Art Hardware handelt es sich (32/64 bit, CPU, PCI-Karten usw.)
• Welche Distribution ist installiert und welche Version
• Welche Version des Linuxkernels läuft
• Welcher Mail-Daemon ist installiert und in welcher Version liegt dieser vor

Die verwendete Kernelversion lässt sich einfach durch einen Aufruf von “uname -a” anzeigen. Hier schlagen wir auch gleich zwei Fliegen mit einer Klappe und können die prinzipielle Systemarchitektur gleich mit auslesen. Zwei Beispiele für eine Kernelversion:

Linux xxx 2.6.23.11 #1 SMP Tue Dec 18 12:19:28 CET 2007 x86_64 AMD Athlon(tm) 64 X2 Dual Core Processor 4200+ AuthenticAMD GNU/Linux

Linux yyy 2.6.18-028stab033.1-ovz-smp #1 SMP Thu May 31 04:17:27 CEST 2007 i686 GNU/Linux

Beim ersten Beispiel können wir neben der Kernelversion 2.6.23.11 noch gleich erkennen, das wir es hier mit einem 64bit AMD-System zu tun haben, welches höchstwahrscheinlich zwei oder mehr CPUs besitzt. Das zweite Beispiel verrät leider nur, das es sich hier um ein 32bit Pentium-System mit möglicherweise 2 oder mehr CPUs handelt. Sollte im zweiten System eine 64bit CPU verbaut sein, so wird sie dennoch nur im 32bit Modus benutzt (erkennbar durch i686). Eine genaue Angabe über die Systemarchitektur hält das /proc Dateisystem für uns bereit. Ein “cat /proc/cpu” liefert für das erste System folgende Informationen (gekürzt):

processor : 0
vendor_id : AuthenticAMD
cpu family : 15
model : 43
model name : AMD Athlon(tm) 64 X2 Dual Core Processor 4200+
stepping : 1
cpu MHz : 2199.844
cache size : 512 KB
[...]
processor : 1
vendor_id : AuthenticAMD
cpu family : 15
model : 43
model name : AMD Athlon(tm) 64 X2 Dual Core Processor 4200+
stepping : 1
cpu MHz : 2199.844
cache size : 512 KB

Es ist also ein Dualcore AMD Athlon X2 4200+ verbaut, diese CPU hat 2 Kerne, welche von 0 bis 1 durchnummeriert sind. Das zweite System erknen wir nun auch als Dualcore, diesmal stammt die CPU allerdings von Intel und ist ein Pentium 4:

processor : 0
vendor_id : GenuineIntel
cpu family : 15
model : 4
model name : Intel(R) Pentium(R) 4 CPU 3.00GHz
stepping : 1
cpu MHz : 3000.332
cache size : 1024 KB
[...]
processor : 1
vendor_id : GenuineIntel
cpu family : 15
model : 4
model name : Intel(R) Pentium(R) 4 CPU 3.00GHz
stepping : 1
cpu MHz : 3000.332
cache size : 1024 KB

Den zur Verfügung stehenden Hauptspeicher sehen wir durch den Aufruf von “free -m” :

total used free shared buffers cached
Mem: 2012 1532 480 0 113 527
-/+ buffers/cache: 890 1122
Swap: 4784 69 4715

und

total used free shared buffers cached
Mem: 1171 219 952 0 0 0
-/+ buffers/cache: 219 952
Swap: 0 0 0

Das erste System ist also ein Dualcore AMD System mit 2 Gigabyte Hauptspeicher mit 64bit Betriebssystem, das zweite ein Dualcore Pentium 4 mit 1 Gigabyte Hauptspeicher mit 32bit Betriebssystem. Das war der einfache Teil. Das Herausfinden der verwendeten Distribution gestaltet sich schon etwas schwieriger. Glücklicherweise speichern die meisten Distributionen ihre Versionsnummer in einer Datei im /etc Verzeichnis, der Dateiname ist zumeist in der Form <dsitributionsname>-version aufgebaut. Eine Datei “redhat-version”, “suse-version” oder “debian_version” entlarft unsere Distribution also, die Versionsnummer selbst sollte in der Datei gespeichert sein. In unserem Fall ist das zweite System ein “Debian 4.0″ System, das erstze allerdings weist keine Datei auf, welche einen Hinweis geben könnte.

Leider speichert nicht jede Distribution ihre Version und Name wie oben beschrieben ab, aus welchen Gründen auch immer. Für das erste System wird Gentoo als Distribution verwendet, ein Hinweis hierauf bietet die Datei “gentoo-release” im /etc Verzeichnis. Durch diverse Eigenheiten von Gentoo lässt sich die Versionsnummer anhand eines symbolischen Links von “make.profile” auf ein Verzeichnis unter “/usr/portage/profiles/” ermitteln, in unserem Fall auf “/usr/portage/profiles/default-linux/amd64/2007.0/no-multilib“. Das erste System ist also ein Gentoo in der Version 2007.0 .

Nun beginnt die Suche nach dem Maildaemon. Ich konzentriere mich hier auf die 3 meist verbreitetsten: qmail, postfix und sendmail. Eine detaillierte Fehleranalyse ist nicht teil dieses Artikels, es geht hier nur darum, den verwendeten Mailserver zu erkennen. qmail ist durch das vorhandensein der Programme und Prozesse “qmail-send“, “qmail-smtpd” oder “qmail-clean” zu erkennen. Postfix verrät sich durch “/usr/lib/postfix/master” oder “qmgr“, Sendmail durch “sendmail” .. wer hätte das gedacht. Ich selbst setze derzeit nur qmail auf verschiedenen Systemen ein, ein behandeln dieses Mailservers könnte also durchaus als Blogbeitrag anstehen.

Nach nur wenigen Minuten wissen wir also über das zu grunde liegende System bescheit. Wir kennen die Hardwarearchitektur, die Distribution, den verwendeten Kernel und den Mailserver, welcher anscheinend Probleme bereitet. Der weitaus längere Teil besteht aus der Fehlererkennung und Fehlerbeseitigung. Es sollte bei der entsprechenden Firma angemerkt werden, das eine Systemdokumentation in diesem Fall vermutlich etliche Stunden Arbeit erspart hätte.

Viele haben dieses Wort “Linux” bestimmt schon gehört oder gelesen. Linux, dieses kurze und wohlklingende Wort beschreibt mitlerweile nicht nur ein Betriebssystem, sondern eine ganze Gemeinschaft (Community) und manchmal sogar einen Lebensstil.

Wie bereits erwähnt ist Linux ein Betriebssystem, ursprünglich 1991 von Linus Torvalds als Terminal-Emulation entwickelt um hinter die Geheimnisse seines Computers zu kommen. Sein Projekt wuchs schnell und Linus erkannte, das er im begriff war, mehr als nur eine Emulation zu schreiben, mitlerweile schrieb er an einem eigenen Betriebssystem. “Freax” sollte es heissen, sein Betriebssysten, doch der damalige Systemadministrator der Usenetgruppe, in der Linus sein Betriebssystem der öffentlichkeit vorstellte, war mit dem Namen nicht einverstanden und änderte ihn kurzerhand in Linux um. Linus war nach einigem hin und her mit dem Namen einverstanden und so heisst das System bis heute Linux.

Das, was Linux heute so einzigartig macht, ist die Lizenz. Linux unterliegt der GPL, darf also von jedem verwendet werden, wo und wie er möchte. Das eigentliche Linux is der Systemkern, der Kernel. Der Kernel ist das Herzstück, er kümmert sich um die Hardware und sorgt dafür, das der Computer mit Programmen umgehen kann. Doch der Kernel alleine verhilft noch niemandem zu einem nutzbaren System, es fehlen die Programme, durch die der Computer erst nutzbar wird. Auch hier kommt die GPL ins spiel, alle Programme die nötig sind, um ein Basissystem betreiben zu können, sind ebenfalls frei. Linux ist also nicht nur der Systemkern, sondern auch eine Hand voll Basisprogramme um mit diesem System arbeiten zu können.

Allerdings wäre es für den Anwender sehr mühsam, müsste er sich jedes Programm einzeln besorgen und irgendwie auf seinen Computer bringen. Hier kommen die sogenannten Distributoren ins Spiel. Einige davon sind weltbekannt, etwa SuSE, RedHat und Ubuntu. Diese Distributoren schnüren den Systemkern, die Systemprogramme und eine große Anzahl von Awendungen zu einem kompletten System zusammen, welches der Anwender meist mit wenigen Klicks von CD oder DVD auf seine Computer installieren kann.

Oft höre ich Sätze wie: “Ich nutze Linux 10.1″ oder “Ich hab Linux 5 installiert”. Diese Aussagen können so nicht richtig sein. Es handelt sich hier nur um Fehlinformationen der einzelnen Nutzer. Was hier gemeint ist, sind die Namen und Versionen der Distributionen, etwa OpenSuSE Linux 10.1 oder RedHat Linux 5. Der Linuxsystemkern selbst unterliegt einer eigenen Namensgebung, doch ohne ihn funktioniert keine Distribution.

Den allermeisten Computernutzern sollte das Wort “Windows” bekannt vorkommen. Gemeint sind hier nicht etwa die Fenster im Haus, sondern ein Betriebssytem aus dem Hause Microsoft. Das was man mit Windows und dem PC machen kann, kann man auch mit Linux machen, wenn auch in andere Art. Beide Betriebssysteme unterscheiden sich nicht nur im Namen, sondern auch im internen Aufbau und am wichtigsten: in der Lizenz. Windows kostet. Windows kostet teilweise sogar etliche hunder bist tausend Euro. Nur wenige eingeweihte Menschen dürfen den Quelltext des Betriebssystems zu gesicht bekommen, müssen aber darüber schweigen. Man kann Windows nicht einfach verändern und an seine Freunde verteilen. Im Gegensatz zu Linux. Linux selbst und die meisten Distributionen sind völlig kostenlos erhältlich und meistens aus dem Internet herunterladbar. Der Quelltext aller verwendeten Programme ist ebenfalls kostenlos erhältlich, Veränderungen und Weiterverbreitung ist erlaubt und manchmal auch explizit erwünscht.

Das hier soll nur ein kleiner Überlick sein und ich erhebe keinen Anspruch auf Vollständigkeit. Wer gerne mehr wissen möchte, dem Empfehle ich die Wikipedia-Seiten zu Linux, Betriebssystemkern, Distrowatch (eine nahezu vollständige Auflistung von Linuxdistributionen) und GNU.

Linus Torvalds hat übrigens ein Buch geschrieben: Just for Fun: The Story of an Accidental Revolutionary.Hier schreibt der Erfinder von Linux über sich selbst. Ein, wie ich finde wirklich lesenswertes Buch!

#!/bin/sh

echo Konvertiere .php zu UTF-8
for i in `find -name '*.php' | xargs`
do
        iconv -f ISO8859-1 -t UTF-8 $i > "$i"5
        mv "$i"5 $i
done

echo Konvertiere .inc zu UTF-8
for i in `find -name '*.inc' | xargs`
do
        iconv -f ISO8859-1 -t UTF-8 $i > "$i"5
        mv "$i"5 $i
done

echo Konvertiere .tpl zu UTF-8
for i in `find -name '*.tpl' | xargs`
do
        iconv -f ISO8859-1 -t UTF-8 $i > "$i"5
        mv "$i"5 $i
done

echo Konvertiere .js zu UTF-8
for i in `find -name '*.js' | xargs`
do
        iconv -f ISO8859-1 -t UTF-8 $i > "$i"5
        mv "$i"5 $i
done