Grafana dashboard vide après upgrade Prometheus

Posté par simon-marcel le 14/03/2025
RÉSOLU

simon-marcel

Membre depuis le 01/02/2019

Hello ! J'ai fait une upgrade de prometheus de la 2.37 à la 2.45 et depuis, un de nos dashboards grafana qui monitorait un service critique est vide. Il y a des panels "no data". Mais les autres dashboards qui scrape des trucs classiques (node exporter, cadvisor) marchent nickel. Et prometheus lui-même quand je fais des requêtes prometheus directes via son UI, les métriques sont bien là pour le service concerné. Je pige rien.

Commentaires

noemi-fernandez

Membre depuis le 18/04/2020

salut t'es sûr que le service dont tu parles utilise toujours les mêmes labels ou les mêmes métriques ? prometheus upgrade ça peut parfois casser des choses si y'a des changements internes. regarde tes requêtes promql dans grafana et compare avec ce que tu vois dans l'ui prometheus

simon-marcel

Membre depuis le 01/02/2019

oui sûr les requêtes sont les mêmes. j'ai fait un copier-coller de la query grafana dans l'UI prometheus et ça me sort bien les données. c'est vraiment juste grafana qui affiche pas. j'ai restart grafana au cas où mais rien

noemi-fernandez

Membre depuis le 18/04/2020

ok alors si prometheus a bien les data et ta query marche dans son ui, c'est entre grafana et prometheus. t'as checké la datasource prometheus dans grafana ? l'url le proxy http tout ça. et les logs grafana ? y'a peut-être une erreur de parsing ou de connexion qui t'échappe

simon-marcel

Membre depuis le 01/02/2019

datasource est ok elle est commune à tous les dashboards. les logs grafana... ah tiens j'ai un warning `data source response has no data, skipping series` sur cette datasource et pour ce dashboard précis. mais pourquoi ?

noemi-fernandez

Membre depuis le 18/04/2020

ça peut être un header qui manque ou une réponse http mal formée que grafana n'aime pas avec une nouvelle version. ou un truc avec le content-type. des fois les proxies peuvent aussi modifier les réponses. t'as un proxy entre grafana et prometheus ?

simon-marcel

Membre depuis le 01/02/2019

non pas de proxy direct connexion http. mais là j'ai trouvé en fouillant les logs grafana plus attentivement. Prometheus 2.45 a introduit un changement mineur sur la façon dont certaines métriques avec des labels vides sont encodées en json. Grafana de mon côté n'était pas à jour pour le parser correctement. J'ai upgrade Grafana et hop ça marche ! Pfff. thx pour les pistes c'était bien un souci entre les deux

noemi-fernandez

Membre depuis le 18/04/2020

ah la bonne blague classic. content que tu aies trouvé !

Laisser une réponse

Vous devez être connecté pour poster un message !

Rejoindre la communauté

Recevoir les derniers articles gratuitement en créant un compte !

S'inscrire