Disk doldu

Oyundaki en mekanik olay ve imzası en temiz olan. Bir disk dolar ve %100'de makine artık yazamaz.

Ne yapar

Bir makinede disk kullanımı istikrarlı biçimde tırmanır. %90'da WARN, %98'de CRIT eşiğini geçer. Tam dolduğunda makine yazma hatası vermeye başlar ve süregelen yazma hatası onu DOWN yapar.

İşin bir kurnazlığı yok — zincirleme etki yok, filonun başka bir yerinde ikincil sonuç yok. Tehlikeli olmasının sebebi, daha gürültülü bir şeyle uğraşırken okuyup geçecek kadar dramsız olması.

Log imzası

İlk işaret monit'in disk uyarısıdır; dolduğunda rsyslogd yazamadığını söyler:

01:52:19 web-02 monit[601]: 'rootfs' space usage 91% matches resource limit [space usage > 80.0%]
02:07:44 web-02 rsyslogd[633]: file '/var/log/syslog'[7] write error - see https://www.rsyslog.com/solving-rsyslog-write-errors/ for help OS error: No space left on device [v8.2312.0]
02:07:44 web-02 monit[601]: 'rootfs' space usage 100.0% matches resource limit [space usage > 95.0%]

df hangi bağlama noktasının dolduğunu gösterir. Alanı kimin tükettiğini ise ls, lsof ve süreç listesi söyler; neredeyse her zaman bir günlük dosyası ya da onu yazan bir süreç vardır.

Dokunmazsan

Yazmalar başarısız olur, sonra makine DOWN düşer, sonra bunun üstüne SLA borcu biner. Rampa yavaş olduğu için, yoğun bir bölümde %91'e ulaşan bir disk çoğu zaman bir sonraki yoğun bölümde %100'e ulaşır.

Ayırt etme

Çıkış yolları eşit değil

Bu olayda seçtiğin yolun ekonomik sonucu da vardır: bazı yollar anında ve ücretsizdir ama tavanı yükseltmez, bazıları kalıcıdır ama paralıdır. Kapanış log satırı hangi yoldan gittiğini söyler. Alan boşalmış görünüp df değişmiyorsa bir süreç dosyayı hâlâ açık tutuyor olabilir.

Ne zaman çıkar