Alertmanager silence pas pris en compte pour metric absente

Membre depuis le 04/05/2024

yo la team j'ai un souci avec alertmanager on a une alerte qui se déclenche quand une métrique est absente genre node_exporter_up si le node_exporter est down

j'ai mis un silence pour une ip spécifique (genre instance="10.0.0.42") mais même avec le silence l'alerte continue de flapper quand la métrique est absente pour cette instance. c'est quoi le deal ? j'ai loupé un truc ?

# partie de mon fichier silence
matchers:
  - name: instance
    value: "10.0.0.42"
    isRegex: false
  - name: alertname
    value: "HostDown"
    isRegex: false

20/05/24 à 22:10

Commentaires

crenaud

Membre depuis le 26/04/2024

salut ! vérifie que ton label instance dans l'alerte générée par prometheus est bien exactement instance="10.0.0.42" et pas un truc du genre instance="10.0.0.42:9100" ou autre. les matchers doivent être exacts. et t'as check si l'alerte n'est pas déjà dans un état firing avant que le silence soit appliqué ? des fois ça prend un peu de temps pour que alertmanager se mette à jour

21/05/24 à 19:26

aurore-martineau

Membre depuis le 01/05/2024

ouais et attention aux alertes absent. si ta règle prometheus c'est absent(node_exporter_up{instance="10.0.0.42"}) ça génère pas toujours les mêmes labels qu'une alerte classique. regarde bien l'objet alerte brut dans alertmanager pour voir tous les labels et matcher sur ceux qui sont vraiment là

aussi le for: duration si ton alerte reste pending mais pas firing elle sera pas matchée par un silence qui ne s'applique qu'aux alertes firing

22/05/24 à 18:40

michaud-antoine

Membre depuis le 04/05/2024

ok merci pour les pistes les gars ! j'ai re-checké les labels dans alertmanager et y'avait un job="node-exporter" en plus que j'avais pas mis dans mon silence. une fois ajouté ça marche nickel. merci encore !

23/05/24 à 15:34