prometheus alerte cpu load trop tardive

Question

salut les sres j'ai un souci avec mes alertes prometheus sur le cpu load. quand un serveur commence à morfler je reçois l'alerte genre 5-10min après que le load soit monté. je voudrais un truc plus réactif genre max 1-2min. vous avez des tips pour optimiser ça

# extrait de ma rule prometheus
- alert: HighCPULoad
  expr: node_load1 > 8
  for: 5m
  labels:
    severity: critical
  annotations:
    summary: "CPU load est trop élevé sur {{ $labels.instance }}"

delmas-zoe · Answer

ta config for 5m c'est trop long c'est ça qui retarde l'alerte essaie de le baisser à 1m ou même 30s si t'es sur que ton monitoring est pas trop bruyant sinon tu vas avoir des alertes fantômes

crenaud · Answer

et le scrape interval de ton node_exporter c'est quoi si c'est 15s ou 30s c'est bon mais si c'est 1m bah forcément tu vas capter l'info plus tard. faut que ton scrape soit plus petit que ton for duration

lmarty · Answer

ok merci pour les tips. j'ai mis le for à 1m et le scrape interval était déjà à 15s. je vais voir ce que ça donne mais ça devrait être mieux. je ferai un retour si ça pose problème

prometheus alerte cpu load trop tardive

3 commentaires

Laisser une réponse

Les Vaults sur Ansible

Faciliter le déploiements k8s avec Kustomize

Guide Complet pour la Gestion des Logs en Environnement DevOps

La Révolution des Architectures Cognitives : Vers des Systèmes DevOps Auto-Adaptatifs et Intelligents

Le Futur du Calcul : Maîtriser la Matière Programmable avec DevOps

Rejoindre la communauté