SRE : prometheus alerte sur disque à 80% mais y'a de la place

RSS
perret-danielle 29/06/2025
RÉSOLU
Retour Répondre
Avatar de perret-danielle
perret-danielle
Auteur Actif
Avatar de perret-danielle
perret-danielle
Auteur Actif

hello la team j'ai des alertes prometheus qui pètent sur des disques à 80% d'utilisation. mais quand je me connecte en ssh sur les machines et que je fais un df -h je vois que c'est genre 50-60%. y'a un truc que je pige pas avec node_exporter ou quoi


# alert rule prometheus
alert: hostdiskfillingup
expr: node_filesystem_avail_bytes{mountpoint="/"} / node_filesystem_size_bytes{mountpoint="/"} * 100 < 20
for: 5m
labels:
  severity: warning
annotations:
  summary: "Disk usage on {{ $labels.instance }} is low ({{ $value | humanizePercentage }})"

bref j'ai l'impression qu'il y a un décalage entre ce que prometheus voit et la réalité. une idée ?

29/06/2025 à 11:08

4 commentaires

Avatar de aurelie-humbert
aurelie-humbert
Membre
Avatar de aurelie-humbert
aurelie-humbert
Membre

c'est classique ce genre de souci. souvent c'est les inodes. df -h te donne l'espace disque mais pas l'utilisation des inodes. si t'as plein de petits fichiers (logs par exemple) ça peut saturer les inodes bien avant l'espace disque. fais un df -i pour voir

30/06/2025 à 10:55
Avatar de perrier-thierry
perrier-thierry
Membre Actif
Avatar de perrier-thierry
perrier-thierry
Membre Actif

ouais ou ptete un mount bind ou un volume qui est monté par dessus un répertoire existant et les fichiers d'origine sont toujours là mais pas visibles. prometheus les verrait mais pas toi via le mountpoint actif

01/07/2025 à 05:29
Avatar de dominique24
dominique24
Membre Actif
Avatar de dominique24
dominique24
Membre Actif

check aussi si t'as pas des process qui ont des fichiers ouverts mais qui ont été supprimés (deleted). l'espace est pas libéré tant que le process tient le descripteur. un lsof | grep deleted te montrera ça

02/07/2025 à 01:33
Avatar de perret-danielle
perret-danielle
Auteur Actif
Avatar de perret-danielle
perret-danielle
Auteur Actif

ok les gars j'ai fait le df -i et bingo certains disques sont à 90% d'inodes utilisés ! c bien ça. on va devoir purger nos logs différemment. j'ai aussi trouvé un vieux mount bind. merci pour les pistes c'était super utile !

03/07/2025 à 00:10

Laisser une réponse

Vous devez être connecté pour poster un message !

Rejoindre la communauté

Recevoir les derniers articles gratuitement en créant un compte !

S'inscrire