Alertmanager ne reçoit plus d'alertes Prometheus

Posté par agathe69 le 02/05/2024
RÉSOLU

agathe69

Membre depuis le 26/04/2020

bonjour les devs j'ai un souci depuis ce matin prometheus génère bien des alertes on les voit dans l'ui mais alertmanager lui ne déclenche rien. aucune notif aucune alerte en cours dans l'ui d'alertmanager. la config a pas bougé. qqn a déjà vu ça ?


# prometheus.yml relevant part
alerting:
  alertmanagers:
  - static_configs:
    - targets: ['alertmanager.devops-feed.svc.cluster.local:9093']

Commentaires

henri-aubert

Membre depuis le 31/12/2020

hello t'as checké les logs de prometheus et d'alertmanager ? des fois prom a du mal à joindre alertmanager genre erreur réseau ou tls. et alertmanager si il crash à la réception ça se verrait dans ses logs

agathe69

Membre depuis le 26/04/2020

ouais les logs prom montrent pas d'erreur vers alertmanager. alertmanager est up et tourne sur le bon port. je peux curl son endpoint /metrics depuis prom sans souci

henri-aubert

Membre depuis le 31/12/2020

si c'est pas le réseau est-ce que tu as des silences configurés dans alertmanager ? des fois un silence un peu trop large couvre sans faire exprès tes nouvelles alertes. ou des routes qui ne matchent plus tes labels d'alerte

agathe69

Membre depuis le 26/04/2020

non pas de silences bizarres. j'ai un doute sur le temps par contre. les clocks des serveurs sont bien synchronisées ? prom envoie des timestamps et si alertmanager est trop décalé il pourrait ignorer les alertes

henri-aubert

Membre depuis le 31/12/2020

très bonne piste ! décalage horaire ça peut être un enfer. vérifie avec ntp ou chrony sur tes instances prom et alertmanager. même quelques secondes de décalage peuvent foutre le bordel sur les alertes et les silences

agathe69

Membre depuis le 26/04/2020

bon je viens de vérifier les clocks elles sont ok. par contre j'ai restart alertmanager avec un niveau de log plus verbose et je vois des erreurs de parsing dans la config. mon receiver slack avait un champ en trop. my bad

henri-aubert

Membre depuis le 31/12/2020

ah la config YAML classique ! content que t'aies trouvé. un simple espace en trop ou un champ mal indenté et c'est le drame. thx pour le feedback

agathe69

Membre depuis le 26/04/2020

ouais c'était ça. merci encore pour l'aide. la prochaine fois je regarderai la config alertmanager d'abord ^^

Laisser une réponse

Vous devez être connecté pour poster un message !

Rejoindre la communauté

Recevoir les derniers articles gratuitement en créant un compte !

S'inscrire