Disque plein
Un disque plein dans SysAdmin Crisis : l'utilisation franchit 90 %, puis les écritures échouent à 100 %. Sa signature et pourquoi les issues diffèrent.
Dernière mise à jour:
L'incident le plus mécanique du jeu, et celui dont la signature est la plus nette. Un disque se remplit et, à 100 %, la machine ne peut plus écrire.
Ce qu'il fait
Sur une machine, l'utilisation du disque grimpe régulièrement. Elle franchit WARN à 90 % et CRIT à 98 %. Quand le disque est complètement plein, la machine se met à lever des erreurs d'écriture, et des erreurs d'écriture prolongées la font passer à DOWN.
Il n'y a pas de piège — pas de cascade, pas de conséquence secondaire ailleurs dans le parc de serveurs. Ce qui le rend dangereux, c'est qu'il est assez peu spectaculaire pour qu'on le lise sans le voir pendant qu'on s'occupe de quelque chose de plus bruyant.
La signature dans les logs
Le premier signe est l'avertissement de disque de monit ; une fois le disque plein, rsyslogd dit qu'il ne peut plus écrire :
01:52:19 web-02 monit[601]: 'rootfs' space usage 91% matches resource limit [space usage > 80.0%]
02:07:44 web-02 rsyslogd[633]: file '/var/log/syslog'[7] write error - see https://www.rsyslog.com/solving-rsyslog-write-errors/ for help OS error: No space left on device [v8.2312.0]
02:07:44 web-02 monit[601]: 'rootfs' space usage 100.0% matches resource limit [space usage > 95.0%]
df montre quel point de montage s'est rempli. Qui a consommé l'espace, c'est ce que ls, lsof et la liste des processus vous diront ; c'est presque toujours un fichier de log ou un processus qui y écrit.
Si vous n'y touchez pas
Les écritures échouent, puis la machine passe à DOWN, puis la dette de SLA s'ajoute par-dessus. Comme la montée est lente, un disque qui atteint 91 % pendant une période chargée atteint souvent 100 % à la suivante.
Le distinguer des autres
| Ressemble à | Ce qui les distingue |
|---|---|
| Fuite mémoire | Les deux rampent. L'une nomme un processus et fait grandir la RAM ; celui-ci nomme un point de montage et fait grandir le disque. |
| Surchauffe | Les deux touchent une seule machine et sont lents, mais la chaleur montre une température et une ligne de ventilateur. |
Les issues ne se valent pas
Sur cet incident, le chemin que vous choisissez a aussi une conséquence économique : certains chemins sont instantanés et gratuits mais ne relèvent pas le plafond, d'autres sont permanents mais coûtent de l'argent. La ligne de log de clôture vous dit lequel vous avez pris. Si l'espace semble libéré mais que df ne change pas, un processus tient peut-être encore le fichier ouvert.
Quand il apparaît
| Première nuit | 2 |
| Nécessite | une machine web |
| Poids | 100 |
| Simultanément | une instance |