prometheus disque full tous les mois config retention

Question

yo on a prometheus qui remplit son disque tous les mois c'est un enfer. on a mis 30j de retention mais ça change rien j'ai l'impression. j'ai 500go de métriques après quelques semaines c'est nimp

guillaume71 · Answer

t'as regardé la cardinalité de tes métriques ? si t'as trop de labels dynamiques ça explose la taille des chunks meme avec une petite retention. genre un label avec un uuid pour chaque requete c'est le mal pour prometheus

benoit-pons · Answer

regarde le /metrics de prometheus lui meme tu as des infos sur la taille des chunks et la retention. tu peux aussi affiner le storage.tsdb.retention.size en plus de la durée pour avoir un hard limit en go

qbaron · Answer

sinon t'as une option pour faire du downsampling avec Thanos ou Mimir pour réduire le volume des vieilles métriques. ou si c'est vraiment juste pour la durée tu peux virer les trucs superflus et pas critiques

lesage-pauline · Answer

ok la cardinalité c ça ! on avait un label genre

request_id

sur toutes les requêtes http. j'ai viré ce label via le config scraping et le disque a commencé à se vider après un petit moment. thx pour le coup de main c'était bien ça le souci

prometheus disque full tous les mois config retention

4 commentaires

Laisser une réponse

Les conditions dans le langage de programmation Go

Les tableaux dans le langage de programmation Go

Créez vos propres modules ansible

Comment créer et initialiser votre premier projet GitLab

Maîtriser l'opération de Rebase sur GitLab pour un historique linéaire

Rejoindre la communauté