Sujet :
Performance I/O aléatoire sur disques EBS
RÉSOLU
Liste des sujets Répondre Créer un sujet
Membre depuis le 23/05/2024
bonjour les devs, on a des VMs (EC2) avec des volumes EBS gp3 et on observe des latences I/O qui spike aléatoirement. des fois c'est nickel 1-2ms et d'un coup ça monte à 100-200ms pendant quelques secondes puis ça redescend. ça arrive n'importe quand même quand le load est faible.
# exemple iostat
Device r/s w/s rMB/s wMB/s rrqm/s wrqm/s %rrqm %wrqm r_await w_await aqu-sz rareq-sz wareq-sz svctm %util
nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
la métrique burst balance de l'ebs est toujours à 100%. les crédits sont pas le souci. des pistes sur ce qui pourrait causer ces micro-ralentissements ?
Répondre
vous devez être connecté pour poster un message !
Rejoindre la communauté
Recevoir les derniers articles gratuitement en créant un compte !
S'inscrire
elisabeth-mahe
Membre depuis le 02/05/2024
salut t'as regardé la métrique CPU Steal Time sur tes instances EC2 ? si tu es sur une instance t2/t3/t4g et que tu manques de crédits CPU ça peut impacter les I/O disk vu que le système d'exploitation est ralenti. même si c'est pas les IOPS qui sont le souci, le traitement des IO par le kernel peut l'être.
patrick-hubert
Membre depuis le 09/05/2024
et un
fstrim -a -vtu as déjà testé ? si tu as des volumes qui ont été copiés/restaurés ou des snapshots anciens, ça peut aider à libérer des blocs inutilisés. des fois un cron job système fait un truc relou en arrière-plan aussi, genre un apt update ou un rsyslog qui flushe ses logs.alexandrie82
Membre depuis le 23/05/2024
vous êtes des génies ! c'était les crédits cpu en fait. même si la cpu utilization était basse, le steal time montait en flèche pendant ces périodes. j'ai mis mes instances en t3.medium au lieu de t3.small et le problème a disparu. et j'ai trouvé un vieux cron qui faisait un
find / -type f -mtime +30 -deleteà des heures aléatoires. clean ! merci