prometheus error out of order sample

Question

je me bouffe plein d erreurs out of order sample dans mes logs prometheus depuis que j ai ajouté un sidecar thanos. les metrics remontent plus du tout vers mon query frontend

efaivre · Answer

t as surement deux instances qui envoient les mêmes metrics avec exactement les mêmes labels. check ta config prometheus.yml pour vérifier tes external_labels
global:
  external_labels:
    cluster: prod-1
    replica: r1

lhoareau · Answer

thanos supporte pas les timestamps qui se chevauchent pour une même série. si t as pas de labels uniques pour différencier tes replicas de prometheus ca va drop les données en boucle

christophe-gosselin · Answer

effectivement j avais copié collé la config sur mon deuxième noeud sans changer le nom du replica. les deux se marchaient dessus. ca marche mieux maintenant

prometheus error out of order sample

Commentaires

Laisser une réponse

Gérer et manipuler un Service Kubernetes

Mise à niveau d'un cluster Kubernetes (kubeadm)

Restaurer une sauvegarde sur GitLab via la procédure de secours

Rejoindre la communauté