Membre depuis le 18/04/2020
salut t'es sûr que le service dont tu parles utilise toujours les mêmes labels ou les mêmes métriques ? prometheus upgrade ça peut parfois casser des choses si y'a des changements internes. regarde tes requêtes promql dans grafana et compare avec ce que tu vois dans l'ui prometheus
Membre depuis le 01/02/2019
oui sûr les requêtes sont les mêmes. j'ai fait un copier-coller de la query grafana dans l'UI prometheus et ça me sort bien les données. c'est vraiment juste grafana qui affiche pas. j'ai restart grafana au cas où mais rien
Membre depuis le 18/04/2020
ok alors si prometheus a bien les data et ta query marche dans son ui, c'est entre grafana et prometheus. t'as checké la datasource prometheus dans grafana ? l'url le proxy http tout ça. et les logs grafana ? y'a peut-être une erreur de parsing ou de connexion qui t'échappe
Membre depuis le 01/02/2019
datasource est ok elle est commune à tous les dashboards. les logs grafana... ah tiens j'ai un warning `data source response has no data, skipping series` sur cette datasource et pour ce dashboard précis. mais pourquoi ?
Membre depuis le 18/04/2020
ça peut être un header qui manque ou une réponse http mal formée que grafana n'aime pas avec une nouvelle version. ou un truc avec le content-type. des fois les proxies peuvent aussi modifier les réponses. t'as un proxy entre grafana et prometheus ?
Membre depuis le 01/02/2019
non pas de proxy direct connexion http. mais là j'ai trouvé en fouillant les logs grafana plus attentivement. Prometheus 2.45 a introduit un changement mineur sur la façon dont certaines métriques avec des labels vides sont encodées en json. Grafana de mon côté n'était pas à jour pour le parser correctement. J'ai upgrade Grafana et hop ça marche ! Pfff. thx pour les pistes c'était bien un souci entre les deux
Membre depuis le 18/04/2020
ah la bonne blague classic. content que tu aies trouvé !
Vous devez être connecté pour poster un message !
Recevoir les derniers articles gratuitement en créant un compte !
S'inscrire
simon-marcel
Membre depuis le 01/02/2019
Hello ! J'ai fait une upgrade de prometheus de la 2.37 à la 2.45 et depuis, un de nos dashboards grafana qui monitorait un service critique est vide. Il y a des panels "no data". Mais les autres dashboards qui scrape des trucs classiques (node exporter, cadvisor) marchent nickel. Et prometheus lui-même quand je fais des requêtes prometheus directes via son UI, les métriques sont bien là pour le service concerné. Je pige rien.