Perf I/O dégueu sur serveur DB après upgrade kernel

Question

bonjour la communauté. après avoir upgrade le kernel sur nos serveurs postgres de production les perfs i/o ont chuté drastiquement. on est passé du kernel 5.15 à 6.2. les disques sont des nvme super rapides. avant on avait des iops de folie maintenant c tout lent. `iostat` montre des latences énormes

# Exemple de iostat -x 1
avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           5.00    0.00    3.00   45.00    0.00   47.00

Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz await r_await w_await  svctm  %util
nvme0n1           0.00     0.00    0.00  100.00     0.00  400.00    8.00    15.00 150.00    0.00  150.00   5.00  50.00

martin-catherine · Answer

slt. kernel 6.2 c pas anodin. as-tu vérifié quel scheduler i/o est actif maintenant ? des fois les defaults changent d'une version à l'autre. regarde dans `/sys/block/nvme0n1/queue/scheduler`

emmanuelle-humbert · Answer

ouh là c'est `cfq` ! avant on était en `noop` il me semble. j'ai pas pensé à ça du tout. cfq c'est pas top pour les ssd non ?

claire49 · Answer

CFQ est une catastrophe pour les NVMe. c'est un scheduler conçu pour les disques rotatifs. pour les SSD et surtout les NVMe tu veux `mq-deadline` ou carrément `none` si ton hardware gère bien. le kernel 6.x a pu changer le default par erreur pour ton type de disque

emmanuelle-humbert · Answer

ok merci pour l'info je savais pas que cfq était encore là. comment je peux changer ça en live sans rebooter pour tester ?

martin-catherine · Answer

tu peux faire un `echo mq-deadline > /sys/block/nvme0n1/queue/scheduler` pour le nvme0n1. ça change à la volée. si ça améliore les perfs faut le rendre permanent via grub ou une règle udev

claire49 · Answer

oui teste ça. et aussi vérifie tes options de montage fstab pour tes filesystems. assure-toi d'avoir `noatime` et potentiellement `discard` pour les ssd. ça aide aussi avec les perfs

emmanuelle-humbert · Answer

vous avez tapé dans le mille ! j'ai switché en `mq-deadline` et les latences ont fondu. les iops sont revenus à la normale. je vais automatiser le changement. merci infiniment pour votre aide !

Perf I/O dégueu sur serveur DB après upgrade kernel

Commentaires

Laisser une réponse

Déboguer vos playbooks Ansible

La gestion de l'audio en SDL2

Les variables dans le langage de programmation Go

Rejoindre la communauté