Perf I/O dégueu sur serveurs linux avec btrfs et gros volumes
Membre depuis le 30/05/2024
Slt la team on a des serveurs de logs (elk stack) avec des disques ssd et du btrfs dessus. gros volumes genre 10To. on voit des perfs i/o vraiment mauvaises des fois avec des latences de plusieurs centaines de ms sur les écritures même si le cpu est pas saturé. on a tune le vm.dirty_ratio mais ça aide pas tant. qqn a déjà eu des soucis avec btrfs sur des gros volumes et de la charge écriture intense ?
# iostat -x 5
avg-cpu: %user %nice %system %iowait %steal %idle
3.24 0.00 1.78 15.43 0.00 79.55
Device r/s w/s rkB/s wkB/s rrqm/s wrqm/s %rrqm %wrqm r_await w_await aqu-sz rareq-sz wareq-sz svctm %util
nvme0n1 10.51 254.34 1505.78 16000.12 0.00 10.00 0.00 3.80 1.23 350.12 10.00 143.20 65.00 10.00 100.00
Laisser une réponse
Vous devez être connecté pour poster un message !
Rejoindre la communauté
Recevoir les derniers articles gratuitement en créant un compte !
S'inscrire
Commentaires
marthe75
Membre depuis le 14/06/2024
salut ! btrfs est pas toujours le meilleur choix pour de la charge écriture/lecture intense avec beaucoup de petits fichiers sur des gros volumes. est-ce que tu as l'option nodatacow sur tes montages btrfs ? pour les bases de données ou les logs ça aide énormément ça désactive la copie sur écriture pour les fichiers existants ce qui réduit la fragmentation et la charge
qcollin
Membre depuis le 30/05/2024
nodatacow ! j'avais oublié cette option. non on l'a pas mis je vais tester. ça va réduire la résilience si le système crash mais pour des logs c'est ptete un compromis acceptable
thomas81
Membre depuis le 21/07/2024
en plus de nodatacow t'as regardé la version de ton kernel linux ? btrfs a eu plein d'améliorations de perfs et de stabilité sur les kernels récents. si t'es sur un vieux kernel ça peut expliquer pas mal de choses. aussi tu peux défragmenter le volume avec btrfs defragment -r /mnt/logs mais c'est pas une solution à long terme
qcollin
Membre depuis le 30/05/2024
kernel on est sur du 5.15 c'est pas le tout dernier mais c'est pas hyper vieux non plus. j'ai essayé nodatacow sur un developpement et ça a l'air de mieux respirer. par contre on a aussi des checkpoints et des snapshots réguliers avec btrfs c'est ptete ça aussi qui met la misère non ?
jacqueline-potier
Membre depuis le 16/06/2024
oui les snapshots réguliers et les copies de métadonnées peuvent ajouter de la charge. pour des logs je privilégierais plutôt ext4 ou xfs sur du lvm si t'as besoin de resizing facile. btrfs est cool pour d'autres cas mais pour des gros volumes de logs avec beaucoup d'écritures ça peut être source de soucis. et surveille le garbage collection de btrfs avec btrfs balance status
qcollin
Membre depuis le 30/05/2024
ok bon je vais déjà finaliser le test avec nodatacow et surveiller. si ça persiste on envisagera de migrer sur xfs. thx pour les conseils c'est super utile !