Prometheus OOMKilled dans k8s après un ajout de target

salut. l'oomkilled sur prometheus c'est souvent un signe que le nombre de series augmente trop vite. chaque nouvelle target même petite peut ajouter des milliers de series. t'as check le nombre de series actives dans prometheus lui-même ? métrique prometheus_tsdb_head_series

yep et aussi le cardinality. c'est pas tant le nombre de targets mais le nombre de labels uniques par métrique. si tes nouveaux services ont des labels très dynamiques genre id de transaction ou user_id ça explose la mémoire

tu peux essayer d'ajuster le scraping interval. si t'es à 15s passe à 30s ça réduit la charge mais c'est un compromis sur la granularité des données. et regarde ta retention policy aussi

ah merde j'avais pas pensé aux labels dynamiques. on a des métriques qui ont des labels avec des uuid de requêtes. c'est ptete ça. pour les series actives on est à 2.5 millions maintenant. avant on était vers 1.8M

ouais 2.5M pour 4Go c tendu. prometheus c environ 1-2KB par series en head block. pour des labels avec uuid tu peux vite monter en flèche. il faut relabeliser à l'ingestion pour virer ces labels haute cardinalité

exactement. ajoute des relabel_configs dans ton prometheus config pour drop ou remplacer ces labels inutiles pour le monitoring. utilise action: drop ou action: replace avec des regex

vous êtes des génies ! j'ai ajouté un relabel_config pour virer le label uuid_requete sur toutes les métriques et prometheus tourne comme un charme maintenant. la mémoire est stable. énorme thx