Disco lleno
Un incidente de disco lleno en SysAdmin Crisis: el uso supera el 90 % y, al llegar al 100 %, las escrituras fallan. Aprende su firma y sus salidas.
Última actualización:
El incidente más mecánico del juego, y el de la firma más limpia. Un disco se llena y, al 100 %, la máquina ya no puede escribir.
Qué hace
En una máquina, el uso de disco sube de forma constante. Cruza WARN al 90 % y CRIT al 98 %. Cuando está completamente lleno, la máquina empieza a lanzar errores de escritura, y los errores de escritura sostenidos la dejan en DOWN.
No tiene truco: no hay cascada ni consecuencia secundaria en otra parte de la flota. Lo que lo hace peligroso es que es tan poco dramático que se puede pasar por alto mientras atiendes algo más ruidoso.
La firma en el log
La primera señal es la advertencia de disco de monit; cuando el disco está lleno, rsyslogd dice que no puede escribir:
01:52:19 web-02 monit[601]: 'rootfs' space usage 91% matches resource limit [space usage > 80.0%]
02:07:44 web-02 rsyslogd[633]: file '/var/log/syslog'[7] write error - see https://www.rsyslog.com/solving-rsyslog-write-errors/ for help OS error: No space left on device [v8.2312.0]
02:07:44 web-02 monit[601]: 'rootfs' space usage 100.0% matches resource limit [space usage > 95.0%]
df muestra qué punto de montaje se ha llenado. Quién consumió el espacio es algo que te dirán ls, lsof y la lista de procesos; casi siempre es un archivo de log o un proceso que escribe en uno.
Si lo dejas
Las escrituras fallan, luego la máquina pasa a DOWN, y después se acumula encima la deuda de SLA. Como la subida es lenta, un disco que llega al 91 % durante un tramo ajetreado suele llegar al 100 % en el siguiente.
Cómo distinguirlo
| Se parece a | Qué lo distingue |
|---|---|
| Fuga de memoria | Ambos avanzan sigilosamente. Uno nombra un proceso y hace crecer la RAM; este nombra un punto de montaje y hace crecer el disco. |
| Sobrecalentamiento | Ambos afectan a una sola máquina y son lentos, pero el calor muestra una temperatura y una línea del ventilador. |
Las salidas no son iguales
En este incidente, el camino que elijas también tiene una consecuencia económica: algunos caminos son instantáneos y gratuitos pero no elevan el techo, otros son permanentes pero cuestan dinero. La línea de cierre del log te dice por cuál fuiste. Si el espacio parece liberado pero df no cambia, puede que un proceso siga teniendo el archivo abierto.
Cuándo aparece
| Noche más temprana | 2 |
| Necesita | una máquina web |
| Peso | 100 |
| A la vez | una instancia |