Prometheus : alertes 'cible down' trop sensibles

Question

yo l'équipe on a prometheus qui nous spam d'alertes target down pour des cibles qui disparaissent et reviennent en 30 secondes. on veut pas être alerté si c'est juste un redémarrage ou un déploiement rapide. comment on gère ça proprement ?

# règle actuelle
- alert: TargetDown
  expr: up == 0
  for: 0s
  labels:
    severity: critical
  annotations:
    summary: "Prometheus target {{ $labels.instance }} down"

camille35 · Answer

salut pour les redémarrages t'utilises la clause for: 5m par exemple. l'alerte ne se déclenchera qu'après 5 minutes de up == 0. ça filtre pas mal le bruit

alice-pages · Answer

et pense à ajouter un group_left avec up et d'autres métriques pour avoir plus de contexte quand ça tombe. ça aide à trier les vrais problèmes des faux positifs

mlegros · Answer

ok je vais tester le for: 5m et je vais voir pour le group_left après. j'espère que ça va calmer un peu les notifs. thx !

Prometheus : alertes 'cible down' trop sensibles

3 commentaires

Laisser une réponse

Fonctionnement et manipulation des images Docker

Installer et configurer votre environnement Terraform

Ajouter des utilisateurs sur GitLab et gérer la collaboration

eBPF : Le Superpouvoir DevOps pour l'Observabilité et la Sécurité

L'Ère de l'Observabilité Prédictive : Quand l'IA Anticipe les Pannes et Réinvente la Résilience Opérationnelle

Rejoindre la communauté