8 commentaires
yo
est-ce que ton cluster k8s est bien dans les mêmes AZ que ton bucket S3 ?
si tes pods sont dans une AZ et ton bucket est "plus proche" d'une autre AZ (même si c'est transparent pour le bucket S3 qui est multi-az) ça peut créer des coûts inter-az
vérifie aussi si tu passes pas par une nat gateway pour accéder à s3
oui et as-tu mis un s3 vpc endpoint (gateway type) pour l'accès à s3 depuis ton vpc k8s
si tu n'as pas de vpc endpoint le trafic vers s3 passe par internet ou nat gateway ce qui coûte cher en egress
avec un vpc endpoint (gateway) c'est gratuit pour s3 dans la même région
OMG le vpc endpoint
on avait une stack terraform qui le créait mais suite à une refonte d'infra j'ai l'impression qu'on l'a zappé
je viens de checker il y en a pas sur le vpc de k8s
donc tout le trafic part par la nat gateway c'est ça qui a explosé les coûts
exactement le vpc endpoint gateway pour s3 c'est le b.a.-ba pour éviter les frais d'egress inter-az ou via nat gateway
crée-le et tes coûts s3 egress vont chuter direct
juste assure-toi que tes security groups et les policies du vpc endpoint permettent bien l'accès à ton bucket
en plus des security groups et policies pense aux tables de routage de tes subnets k8s
faut que la route pour s3 (préfixe s3 par défaut) pointe bien vers l'id du vpc endpoint et non la nat gateway ou l'igw
sinon même avec l'endpoint tes paquets prendront le mauvais chemin
bonne remarque pour les tables de routage j'allais me faire avoir
j'ai ajouté le vpc endpoint et mis à jour les tables de routage pour qu'elles pointent dessus pour le préfixe S3
le trafic commence déjà à basculer je vois les octets de la nat gateway diminuer drastiquement
c'était bien ça
j'ai recréé le vpc endpoint gateway pour s3 et mis à jour les routages et mes métriques de transfert de données sont revenues à la normale
les coûts devraient suivre le mois prochain
merci beaucoup les gars j'aurais galéré longtemps sans vous
Laisser une réponse
Vous devez être connecté pour poster un message !
salut l'équipe
on a une explosion des coûts s3 egress depuis 2 mois sans raison apparente
on a un cluster k8s dans la même région aws qui lit des fichiers sur s3
avant c'était genre 50$ par mois là on est à 800$
le volume de data dans s3 n'a pas bougé nos apps ont pas changé leur pattern de lecture
j'ai l'impression qu'il y a un truc que je rate sur le transfert de données
le bucket est en eu-west-3 le k8s aussi