AlertManager n'envoie pas d'alertes Slack malgré les firing

Question

Bonjour la communauté ! J'ai un problème étrange avec mon setup Prometheus/AlertManager. Prometheus remonte bien des alertes, je les vois en statut FIRING dans l'UI d'AlertManager, mais aucune notification n'arrive sur notre channel Slack. Les logs d'AlertManager sont pas très parlants, juste des messages de routage.
# alertmanager.yml (partie receivers)
receivers:
- name: 'slack-notifications'
  slack_configs:
  - channel: '#devops-alerts'
    api_url: 'https://hooks.slack.com/services/TXXXXXXX/BXXXXXXX/XXXXXXXXXXXXXXXXXXXXXXXX'
    send_resolved: true
    text: '{{ template "slack.default.text" . }}'

# alertmanager.yml (partie routes)
routes:
- receiver: 'slack-notifications'
  match:
    severity: 'critical'

C'est une config standard pourtant. Y a un truc que je loupe?

david-perrin · Answer

Salut! As-tu vérifié si ton `api_url` pour Slack est toujours valide? Les webhooks Slack peuvent expirer ou être révoqués. Un simple test avec `curl` depuis le serveur AlertManager peut confirmer si le webhook est joignable.

blot-valentine · Answer

Regarde dans l'UI d'AlertManager sous "Silences" et "Inhibitions". Des fois, une règle d'inhibition mal configurée ou un silence oublié peut bloquer l'envoi des notifs même si l'alerte est bien firing.

david-perrin · Answer

Un firewall entre ton instance AlertManager et les serveurs Slack? Vérifie que le port 443 est ouvert pour les requêtes sortantes vers `hooks.slack.com`.

frederic-paris · Answer

Le template Slack? Si ton `text: '{{ template "slack.default.text" . }}'` a une erreur ou référence une variable inexistante, ça peut faire planter l'envoi de la notification. Essaye un template super simple juste pour voir.

blot-valentine · Answer

tes labels matchent bien la route? ton exemple de route a `severity: 'critical'`. si tes alertes prometheus n'ont pas ce label ou en ont un différent, elles ne seront pas routées vers ce receiver.

david-perrin · Answer

Problème de résolution DNS? Ton AlertManager arrive à résoudre `hooks.slack.com`? Un petit `dig hooks.slack.com` ou `ping` depuis la machine peut donner une piste.

icharpentier · Answer

bon ben c'était effectivement le template slack qui était pourri. j'avais essayé de customiser un truc et j'avais foiré la syntaxe. remis le template par défaut et ça repart. merci pour les pistes !

AlertManager n'envoie pas d'alertes Slack malgré les firing

Commentaires

Laisser une réponse

Déploiement et Backup automatique d'une application Symfony 4

Les variables d'environnement dans Kubernetes

Déployer, manipuler et sécuriser un serveur Registry Docker privé

Rejoindre la communauté