Latence disques de ouf sur VM linux après màj kernel

Question

bonjour les costauds j'ai une dizaine de vms linux sous vmware qui hébergent des bases de données et des applications critiques. on a fait une maj de kernel (passage de 5.4 à 5.10) et depuis on a des latences I/O énormes. les apps rament le système est lent. iostat et sar montrent rien de spécial pas de saturation des disques mais la latence est là. c'est quoi le bordel ?

# exemple iostat -x 1 5
avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           1.24    0.00    2.56   15.32    0.00   80.88

Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz await r_await w_await  svctm  %util
sda               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00  0.00    0.00    0.00   0.00   0.00
sdb              ...      ...      ...    40.00   ...      ...    ...      20.00 500.00   ...    500.00  10.00  40.00

brunet-gabriel · Answer

salut ! ça ressemble fort à un changement de scheduler I/O par défaut. le kernel 5.10 a ptete switché sur mq-deadline ou quelque chose de plus agressif qui interagit mal avec ton storage backend vmware. check /sys/block/sdX/queue/scheduler sur tes vms. t'étais en quel scheduler avant ?

pires-hortense · Answer

oui le scheduler c'est la première chose à voir. et aussi les paramètres dirty_ratio et dirty_background_ratio. avec un nouveau kernel ils peuvent se comporter différemment et causer des stalls i/o si le cache disque est trop grand ou flushé trop souvent/peu souvent

tmartineau · Answer

t'as mis à jour les vmware tools aussi ? des fois une incompatibilité entre les outils et le nouveau kernel linux peut provoquer des soucis de drivers virtio. ça s'est déjà vu que le driver générique prenne le relai mais soit moins performant

theophile49 · Answer

regarde aussi côté stockage physique si y'a eu des màj firmware sur tes san ou nas. ptete une régression de perf avec un kernel plus récent. ou des options de mount filesystem qui sont plus optimales avec 5.10 genre noatime ou des paramètres de journalisation

christelle-leger · Answer

un autre truc qui m'est arrivé c'est que l'alignement des partitions disque se décale après une migration ou une màj. même si c'est rare ça peut rendre les i/o super lentes. fdisk -l ou parted print pour vérifier l'alignement des secteurs physiques et logiques

pierre-claude · Answer

vous êtes des génies ! c'était bien le scheduler I/O. on était en deadline et le kernel 5.10 a switché sur mq-deadline par défaut. en repassant en deadline avec echo deadline > /sys/block/sdb/queue/scheduler la latence a chuté direct. on va investiguer pourquoi mq-deadline déconne avec notre infra vmware mais au moins le problème est identifié. merci un million de fois !

Latence disques de ouf sur VM linux après màj kernel

Commentaires

Laisser une réponse

Fonctionnement et manipulation des images Docker

Introduction au rapport DORA

Comprendre et utiliser Filebeat dans la stack ELK

Rejoindre la communauté