alertes prometheus trop bruyantes sur les changements de target

Question

yo la team mes alertes prometheus sont un enfer à chaque déploiement on a une avalanche d'alertes sur les targets down genre pendant 30s c'est injouable surtout quand t'as plusieurs services qui déploient en même temps ça me rend fou

bernadette-launay · Answer

ouais classique faut gérer ça avec un alertmanager receiver qui met en mute pendant la fenêtre de déploiement avant le rollout tu crées un silence via l'api c'est le plus propre

martin-caron · Answer

comment je fais ça je peux cibler un label spécifique pour le silence

bernadette-launay · Answer

exactement tu peux configurer des silences dans alertmanager basés sur des labels comme env service ou même pod si c'est pertinent c'est très flexible et tu peux l'automatiser
# exemple de silence via l'api alertmanager
{
  "matchers": [
    { "name": "service", "value": "mon-service", "isRegex": false },
    { "name": "alertname", "value": "TargetDown", "isRegex": false }
  ],
  "startsAt": "2023-10-27T10:00:00Z",
  "endsAt": "2023-10-27T10:15:00Z",
  "createdBy": "deploy-bot",
  "comment": "Silence during deployment of mon-service"
}

martin-caron · Answer

ok je vois je vais essayer de coder un script pour ça avant chaque rollout ça a l'air pas mal

bernadette-launay · Answer

ouais et pense aussi à la grace period de ton discovery dans prometheus pour qu'il attende un peu avant de marquer une target comme down tu peux jouer sur le scrape_interval et le scrape_timeout pour un peu plus de souplesse

martin-caron · Answer

top je vais regarder ça aussi en plus du silence ça m'aidera à calmer le jeu pendant les maj merci

alertes prometheus trop bruyantes sur les changements de target

Commentaires

Laisser une réponse

Les fonctions dans le langage de programmation Go

Fonctionnement et manipulation des Volumes

Participation Challenges CTF Rennes

Rejoindre la communauté