Festplatte voll
Festplatte voll in SysAdmin Crisis: ab 90 % Warnung, bei 100 % scheitern Schreibzugriffe. Lerne die Log-Signatur und warum die Auswege nicht gleich sind.
Zuletzt aktualisiert:
Der mechanischste Vorfall im Spiel, und der mit der saubersten Signatur. Eine Festplatte füllt sich, und bei 100 % kann die Maschine nicht mehr schreiben.
Was er tut
Auf einer Maschine steigt die Festplattenbelegung stetig. Bei 90 % überschreitet sie WARN, bei 98 % CRIT. Ist sie völlig voll, wirft die Maschine Schreibfehler, und anhaltende Schreibfehler setzen sie auf DOWN.
Es ist kein Trick dabei – keine Kaskade, keine Folgewirkung an anderer Stelle im Serverpark. Gefährlich wird er dadurch, dass er so undramatisch ist, dass man ihn überliest, während man sich um etwas Lauteres kümmert.
Die Log-Signatur
Das erste Anzeichen ist die Festplattenwarnung von monit; ist die Festplatte voll, meldet rsyslogd, dass es nicht schreiben kann:
01:52:19 web-02 monit[601]: 'rootfs' space usage 91% matches resource limit [space usage > 80.0%]
02:07:44 web-02 rsyslogd[633]: file '/var/log/syslog'[7] write error - see https://www.rsyslog.com/solving-rsyslog-write-errors/ for help OS error: No space left on device [v8.2312.0]
02:07:44 web-02 monit[601]: 'rootfs' space usage 100.0% matches resource limit [space usage > 95.0%]
df zeigt, welcher Mountpoint sich gefüllt hat. Wer den Platz verbraucht hat, verraten dir ls, lsof und die Prozessliste; fast immer ist es eine Log-Datei oder ein Prozess, der in eine schreibt.
Wenn du ihn in Ruhe lässt
Schreibzugriffe schlagen fehl, dann geht die Maschine auf DOWN, dann türmt sich SLA-Schuld obendrauf. Weil der Anstieg langsam ist, erreicht eine Festplatte, die in einer hektischen Phase 91 % erreicht, oft in der nächsten schon 100 %.
Abgrenzung
| Sieht ähnlich aus | Was unterscheidet |
|---|---|
| Speicherleck | Beide schleichen. Das eine nennt einen Prozess und lässt den RAM wachsen; dieser nennt einen Mountpoint und lässt die Festplatte wachsen. |
| Überhitzung | Beide betreffen eine einzelne Maschine und sind langsam, aber Hitze zeigt eine Temperatur und eine Lüfterzeile. |
Die Auswege sind nicht gleich
Bei diesem Vorfall hat der Weg, den du wählst, auch eine wirtschaftliche Folge: Manche Wege sind sofort und kostenlos, heben aber die Obergrenze nicht an, andere sind dauerhaft, kosten aber Geld. Die abschließende Log-Zeile sagt dir, welchen Weg du gegangen bist. Sieht der Platz freigegeben aus, aber df ändert sich nicht, hält vielleicht noch ein Prozess die Datei offen.
Wann er auftaucht
| Früheste Nacht | 2 |
| Voraussetzung | eine web-Maschine |
| Gewicht | 100 |
| Gleichzeitig | eine Instanz |