prometheus alertmanager pas d'alertes reçues

Question

salut tout le monde ! j'ai un souci avec mon prometheus/alertmanager. j'ai créé de nouvelles règles d'alerte. prometheus voit bien les alertes qui se déclenchent (firing) mais alertmanager n'envoie rien. pas de mail pas de slack pas de pagerduty. rien. tout le reste marche bien c'est juste les nouvelles règles qui posent problème. alertmanager est en v0.25
# exemple de config alertmanager (simplifié)
route:
  group_by: ['alertname', 'cluster']
  group_wait: 30s
  group_interval: 5m
  repeat_interval: 4h
  receiver: 'default-receiver'
receivers:
  - name: 'default-receiver'
    webhook_configs:
      - url: 'https://hooks.slack.com/services/...'

catherine08 · Answer

hello. première chose à faire check les logs d'alertmanager. il doit y avoir des erreurs si les notifs partent pas. et aussi vérifie que tes receivers sont bien configurés et accessibles par alertmanager. pas de typo dans les urls ?

gaillard-nicolas · Answer

salut ! les logs d'alertmanager sont super cleans, rien d'anormal. les status d'alertmanager sur son ui montrent les alertes en 'firing' mais jamais en 'sent'. l'url du webhook slack est bonne et les anciens alertes partent bien

catherine08 · Answer

ok si les anciennes alertes partent mais pas les nouvelles c'est chelou. t'as pas des routes spécifiques pour ces nouvelles règles ? un label particulier qui les enverrait vers un receiver non configuré ou un silence actif ?

gaillard-nicolas · Answer

non les nouvelles alertes ont les mêmes labels que les anciennes, elles devraient toutes passer par le default-receiver. pas de silence actif non plus. j'ai vérifié 100 fois

catherine08 · Answer

dernière piste : alertmanager a besoin d'un accès internet ou à tes services de notif. est-ce qu'un proxy ou un firewall a été mis à jour récemment et alertmanager n'a plus accès à la sortie ? c'est souvent un oubli quand on a des microservices qui appellent des services externes

gaillard-nicolas · Answer

oh bordel de merde oui !!! on a mis un proxy http pour tout le trafic sortant il y a trois jours et j'ai totalement oublié de l'ajouter dans la config d'alertmanager ! évidemment qu'il peut plus joindre slack. j'suis trop con. merci mec tu me sauves la vie !

prometheus alertmanager pas d'alertes reçues

Commentaires

Laisser une réponse

Votre plateforme interne est-elle prête pour le développement accéléré par l'IA ?

Lire et écrire dans un fichier dans le langage de programmation Go

Comprendre et manipuler le scheduler Kubernetes

Rejoindre la communauté