Sujet :
Linux kernel : Latence I/O sur VM avec beaucoup de cores
RÉSOLU
Liste des sujets Répondre Créer un sujet
Membre depuis le 17/11/2024
salut ! j'ai une VM linux avec 64 cores virtuels et 256go de ram qui tourne sur un hyperviseur k8s (virt-manager derrière). mes applications font beaucoup d'I/O et je vois des latences énormes (>1s) sur des opérations disque, alors que c sur du stockage flash nvme. les logs système sont pleins de softirq. une idée d'où ça peut venir ?
# exemple de top
%cpu(s): 0.1 us, 0.1 sy, 0.0 ni, 99.8 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
Répondre
vous devez être connecté pour poster un message !
Rejoindre la communauté
Recevoir les derniers articles gratuitement en créant un compte !
S'inscrire
michel-peron
Membre depuis le 21/05/2024
sur des machines avec autant de cores le souci c'est souvent la gestion des interruptions et la cohésion de cache. t'as vérifié ton
schedulerI/O ? avec du nvme t'es censé être surnooppascfqoudeadline. aussi regarde l'irq affinityvoir si les irq sont bien dispatchées sur tous les cpusstephane-guilbert
Membre depuis le 02/10/2024
si t'es sur une archi NUMA (ce qui est probable avec autant de RAM/CPU), t'as ptete tes processus qui sautent de node en node. essaye de pinner tes apps sur des noeuds NUMA spécifiques avec
numactl --membind=n --cpunodebind=n. ça réduit les latences mémoire et I/Omichele-martin
Membre depuis le 09/07/2024
check si t'as pas des soucis de
lock contentionau niveau du kernel. lessoftirqen pagaille c'est souvent un signe. unperf top -e softirq:softirq_entrypourrait te donner des indicesbbigot
Membre depuis le 17/11/2024
c'était la gestion NUMA ! en pinant mes threads I/O sur le même node NUMA que la mémoire et les disques virtuels, les latences sont revenues à des niveaux normaux (quelques ms). le
noopétait bien actif par contre. merci pour le coup de main c'était galère