AlertManager not sending alerts for certain metrics from custom exporter

salut. première chose à vérifier va sur l'UI de prometheus /alerts. est-ce que l'alerte apparaît comme FIRING là-bas ? si elle n'est pas FIRING le problème est dans ta règle prometheus ou la métrique elle-même

si elle est FIRING dans prometheus alors le problème est côté alertmanager. check ta config alertmanager.yaml la section route c'est critique. tes match ou match_re correspondent bien aux labels de l'alerte qui part de prometheus ? et tes group_by ?

et le for: 5m il est assez long pour que l'alerte reste FIRING pendant 5 minutes avant d'être envoyée ? des fois l'expression est vraie mais pas assez longtemps pour que l'alerte passe à l'état FIRING réel et soit envoyée

la métrique my_custom_metric_gauge tu l'as testée directement dans l'UI prometheus /graph avec ton expression my_custom_metric_gauge > 0.9 ? est-ce que ça te renvoie des points quand tu t'attends à ce que l'alerte fire ?

y'a pas une faute de frappe dans le nom de la métrique ou les labels dans ta règle prometheus ? la casse est importante. my_custom_metric_gauge vs My_Custom_Metric_Gauge

et côté alertmanager t'as regardé les logs ? alertmanager --log.level=debug ça peut donner des indices sur pourquoi une alerte est reçue mais pas routée vers un receiver

ton custom exporter il est bien scrape par prometheus ? target status est vert ? pas d'erreurs de scrape ? si y'a des trous dans les données l'alerte peut avoir du mal à rester FIRING

dans la config prometheus t'as des relabel_configs pour le job de ton custom exporter qui pourraient modifier les labels instance ou job ou d'autres trucs que tu utilises dans tes routes alertmanager ?

essaie de simplifier ta règle au maximum. genre my_custom_metric_gauge > 0 sans for et avec des labels hyper basiques. juste pour voir si alertmanager reçoit quelque chose de cette métrique

vérifie le timestamp des métriques de ton exporter. si l'horloge du serveur exporter est décalée par rapport à prometheus ça peut créer des soucis de staleness et les alertes ne se déclenchent pas comme prévu

et ton alertname dans les labels de la règle est important pour le routage. t'as bien un match: ou match_re: dans alertmanager qui correspond à alertname: MyCustomMetricHigh ?