Performance I/O disque dégradées sous forte charge réseau sur Linux
Membre depuis le 28/08/2023
Hello ! J'ai une vm linux (ubuntu 22.04) sur laquelle on fait du traitement de données. Elle a un gros disque NVMe et pas mal de trafic réseau (plusieurs gigabits/s). Le problème c'est que sous forte charge réseau, les perfs I/O disque se cassent la figure, on passe de qqs ms à des centaines de ms pour des opérations simples. C'est comme si le réseau vampirisait toutes les ressources CPU ou I/O et que le disque prenait une claque. Des idées pour isoler ça ?
Laisser une réponse
Vous devez être connecté pour poster un message !
Rejoindre la communauté
Recevoir les derniers articles gratuitement en créant un compte !
S'inscrire
Commentaires
marguerite15
Membre depuis le 16/05/2024
yo. classique. le kernel a du mal à gérer ça des fois. premières pistes : le scheduler i/o de ton nvme. t'es sur quoi ? deadline mq-deadline noop ? essaye de passer en noop si t'es pas déjà dessus. et regarde la conso cpu de tes softirqs (
/proc/interruptsettop). le réseau génère bcp d'irq faut voir où elles sont traitéessebastien-thibault
Membre depuis le 28/08/2023
on est sur mq-deadline pour l'instant. je vais tester noop. pour les softirqs c'est réparti sur plusieurs cpus mais ça tape pas mal sur certains. on a pas touché à l'irq affinity. y'a moyen d'isoler des cpus pour le réseau et d'autres pour l'application ?
marguerite15
Membre depuis le 16/05/2024
oui tu peux via
irqbalanceou manuellement avec/proc/irq/<irq_num>/smp_affinity. assigne les irq de tes cartes réseau à des cpus spécifiques. et pour l'appli si elle est cpu-bound isole ses cpus aussi avecisolcpusdans le grub. ça évitera la contentionsebastien-thibault
Membre depuis le 28/08/2023
ok je tente le switch en noop pour le nvme et je vais jouer avec
smp_affinitypour isoler les cores du réseau. on verra ce que ça donne je fais un test de charge juste aprèssebastien-thibault
Membre depuis le 28/08/2023
bon bah c'était ça ! le passage en noop pour le nvme a déjà bien aidé et après avoir isolé deux cpus pour les irqs réseau et deux autres pour l'appli les perfs sont revenues nickel. plus de contention entre réseau et disque. un grand merci !