Alertes prometheus qui spamment sur mes pods en init

hello bah le truc classique c de jouer avec le for. mais si tu veux pas ça la solution c des labels dynamiques sur tes pods. quand tu déploies tu ajoutes un label genre "monitoring=paused" et ton alerte rule exclut ces pods

ou alors mieux dans ta règle prometheus tu ajoutes un `unless` ou `and on(pod, namespace) (kube_pod_status_phase != "Pending")` ou des choses comme ça. regarde les metrics kube_pod_status_phase kube_pod_status_condition

ouais j'ai déjà le `kube_pod_status_phase == "Running"` pour éviter les pending ou terminated. mais les pods en init sont "Running" avant d'être "Ready"

le label dynamique c'est une option mais ça veut dire intégrer ça dans mon ci/cd c'est pas ouf

ok je vois. alors la solution propre c'est `kube_pod_container_status_started{job="kube-state-metrics", container=~".+"} == 1`. ça indique si le container a commencé à tourner. si tu combines ça avec ready et une durée tu peux filter

ou alors regarde la condition `Initialized` ou `ContainersReady` via `kube_pod_status_condition{condition="Initialized", status="true"}` ça te donne quand les init containers sont passés. tu peux ajouter un `for: 30s` sur cette condition

hum kube_pod_container_status_started c'est intéressant ça. si je dis podnotready et container est started depuis moins de x minutes alors pas d'alerte. ça peut être pas mal

exactement. tu peux faire un truc du genre :

sum by (namespace, pod) (
  kube_pod_container_status_ready{container=~".+"} == 0
  and
  kube_pod_status_phase == "Running"
  and
  # et là tu ajoutes une condition sur le temps depuis le démarrage du container
  # par exemple, on alerte que si le container est démarré depuis plus de 5min
  # faut trouver la bonne métrique de temps de démarrage
  # ou utiliser `kube_pod_container_status_started` avec un offset
) > 0

c'est plus complexe à écrire mais beaucoup plus précis pour éviter le bruit

ok je vois. en fait j'ai trouvé un truc plus simple en combinant kube_pod_status_condition{condition="Ready", status="false"} avec un truc pour dire que le pod est plus jeune que 5min. comme ça les pods qui viennent de spawn sont ignorés. ça a l'air de marcher avec ma phase de rollout. je vais tester ça en prod

nickel. l'essentiel c'est de trouver la métrique qui reflète le "je suis en train de me setup" et l'exclure du périmètre d'alerte pour une courte période. thx pour le feedback