Vault prend 10s pour déverrouiller

Posté par alice-pages le 20/06/2024
RÉSOLU

alice-pages

Membre depuis le 24/04/2019

yo la team ! on a un gros souci avec vault là l'unseal il prend genre 10 bonnes secondes et c'est super pénalisant au boot du service. on a pourtant pas une grosse instance. vous avez déjà vu ça ?

on est en mode auto-unseal avec AWS KMS mais même avec ça c'est lent.

Commentaires

bclement

Membre depuis le 28/06/2019

Salut ! 10s c long oui. T'as checké les logs de Vault pendant la phase d'unseal ? Y'a ptete des erreurs ou des warnings qui t'indiquent un souci de latence avec KMS ou la base de données derrière.

aimee13

Membre depuis le 23/05/2024

C'est quoi ton backend de stockage pour Vault ? Si c'est du Consul, Redis, ou S3, la latence réseau vers cette ressource peut être un facteur. Et si t'es sur EC2, l'instance est-elle bien dans la même AZ que le KMS et le storage ?

alice-pages

Membre depuis le 24/04/2019

les logs de vault sont assez clean juste une ligne core: unseal complete après 10s. on est sur du consul dans le même vpc la même az. KMS aussi. le network entre eux est bon.

bclement

Membre depuis le 28/06/2019

OK si network est bon, ptete un souci de perf côté consul ? Est-ce que tes pods Consul ont assez de CPU/RAM ? Ou le disque est lent ? Un iostat sur l'instance consul pour voir les iops.

agathe68

Membre depuis le 02/06/2019

et la version de vault ? des fois des upgrades résolvent des perfs issues. et si c'est un cluster, les noeuds sont-ils bien synchronisés et healthy ?

aimee13

Membre depuis le 23/05/2024

Vérifie aussi les métriques réseau de ton instance Vault dans CloudWatch. On ne sait jamais si y'a pas un micro-bursting au moment de l'unseal qui ralentit la communication avec KMS.

alice-pages

Membre depuis le 24/04/2019

alors c'est vault 1.10. les noeuds consul sont healthy et leurs disques sont pas saturés. par contre j'ai vérifié les métriques réseau sur l'instance vault et y'a un mini pic de packets retransmis au moment du boot. ça m'a mis la puce à l'oreille.

bclement

Membre depuis le 28/06/2019

Bingo ! Un petit pic de retransmissions ça veut dire que quelque chose galère à répondre. Souvent c'est un firewall ou un security group qui bloque un port genre le 8200 ou 8201 pendant quelques secondes au démarrage. Ou ptete un soft de sécu sur l'OS.

alice-pages

Membre depuis le 24/04/2019

Exactement ! C'était un truc avec un agent de sécurité qui se lançait au boot et qui tapait sur les ports de vault avant qu'ils soient complètement ouverts. Un petit délai sur son démarrage et c'est réglé. Merci les gars, quelle galère !

Laisser une réponse

Vous devez être connecté pour poster un message !

Rejoindre la communauté

Recevoir les derniers articles gratuitement en créant un compte !

S'inscrire