Disco cheio
Disco cheio no SysAdmin Crisis: o uso passa de 90% e as gravações falham aos 100%. Veja a assinatura nos logs e por que as saídas diferem.
Última atualização:
O incidente mais mecânico do jogo, e o de assinatura mais limpa. Um disco enche e, aos 100%, a máquina não consegue mais gravar.
O que ele faz
Em uma máquina, o uso de disco sobe de forma constante. Cruza WARN aos 90% e CRIT aos 98%. Quando está completamente cheio, a máquina começa a gerar erros de gravação, e erros de gravação sustentados a levam a DOWN.
Não há truque — nem cascata, nem consequência secundária em outro ponto da frota. O que o torna perigoso é que ele é pouco dramático a ponto de passar batido enquanto você lida com algo mais barulhento.
A assinatura nos logs
O primeiro sinal é o aviso de disco do monit; depois que o disco enche, o rsyslogd diz que não consegue gravar:
01:52:19 web-02 monit[601]: 'rootfs' space usage 91% matches resource limit [space usage > 80.0%]
02:07:44 web-02 rsyslogd[633]: file '/var/log/syslog'[7] write error - see https://www.rsyslog.com/solving-rsyslog-write-errors/ for help OS error: No space left on device [v8.2312.0]
02:07:44 web-02 monit[601]: 'rootfs' space usage 100.0% matches resource limit [space usage > 95.0%]
df mostra qual ponto de montagem encheu. Quem consumiu o espaço é algo que ls, lsof e a lista de processos vão dizer; quase sempre é um arquivo de log ou um processo gravando nele.
Se você deixar de lado
As gravações falham, depois a máquina vai para DOWN, e então a dívida de SLA se soma. Como a subida é lenta, um disco que chega a 91% durante um período movimentado muitas vezes chega a 100% no seguinte.
Como distingui-lo
| Parece com | O que o separa |
|---|---|
| Vazamento de memória | Os dois se arrastam. Um nomeia um processo e faz a RAM crescer; este nomeia um ponto de montagem e faz o disco crescer. |
| Superaquecimento | Os dois afetam uma única máquina e são lentos, mas o calor mostra uma temperatura e uma linha de ventoinha. |
As saídas não são iguais
Neste incidente, o caminho que você escolhe também tem consequência econômica: alguns caminhos são instantâneos e gratuitos, mas não elevam o teto; outros são permanentes, mas custam dinheiro. A linha de fechamento no log diz qual caminho você seguiu. Se o espaço parece liberado mas df não muda, um processo ainda pode estar mantendo o arquivo aberto.
Quando ele aparece
| Noite mínima | 2 |
| Requer | uma máquina web |
| Peso | 100 |
| Ao mesmo tempo | uma instância |