Facture AWS s3 a explosé sans raison apparente

Question

bonjour la communauté finops ! on a eu une surprise ce mois-ci la facture aws pour s3 a fait x5 sans aucune raison apparente. on n'a pas déployé de nouvelle application ni eu d'augmentation de traffic connue. j'ai checké les buckets les access points les logs s3 analytics. j'ai rien vu d'anormal qui justifierait ça. le stockage a à peine bougé. j'ai l'impression que c lié aux requêtes ou au data transfer. une idée lumineuse ?

# commande aws cli pour récupérer le coût global s3
aws ce get-cost-and-usage --time-period Start=2023-01-01,End=2023-01-31 --granularity MONTHLY --metrics "BlendedCost" --group-by Type=DIMENSION,Key=SERVICE | jq '.ResultsByTime[].Groups[] | select(.Keys[] == "Amazon Simple Storage Service")'

xchauvet · Answer

hello ! quand ça fait x5 c'est souvent un truc inattendu. as-tu vérifié les s3 lifecycle rules ? parfois une règle mal configurée archive des objets trop souvent ou trop tard et ça peut générer des coûts de transition ou de retrieval inattendus

leroy-margot · Answer

ouais et le data transfer out ? t'as pas une app qui réplique des objets s3 vers une autre région ou une autre zone sans que tu saches ? ou des accès publics qui ont explosé ? check les métriques cloudwatch pour le data transfer out par bucket et par région

roger-paul · Answer

regarde bien dans s3 storage lens ou cost explorer les "request types". si c'est les get requests ou list qui ont explosé c'est que y'a un process qui lit beaucoup. si c'est les put c'est des écritures massives. ça peut être une lambda qui s'est emballée

leroux-colette · Answer

t'as des services qui interrogent s3 avec athena ou s3 select ? le coût de ces requêtes peut monter super vite si t'as des requêtes mal optimisées sur des petaoctets de données. et regarde le nombre de delete requests aussi des fois ça coûte plus cher qu'on pense

gros-victor · Answer

glacier retrieval costs ? si des objets ont été mis en glacier et qu'il y a eu des demandes de récupération urgentes ça peut piquer. les instant retrieval sont chers. et la durée de stockage minimale des objets dans s3 intelligent-tiering ça peut impacter si les objets sont supprimés trop tôt

gerard-louise · Answer

un scénario que j'ai vu c'est un outil de backup ou un script de sync qui s'est mis à resync tout un bucket de plusieurs to tous les jours parce qu'un timestamp ou un etag avait changé sur les fichiers source. ça génère des millions de get et put

zacharie-adam · Answer

y'a pas une application tierce ou un partenaire qui accède à tes buckets via des credentials iam et qui aurait un bug ou un usage excessif ? vérifie les access logs s3 pour voir les ip et les user agents qui font le plus de requêtes

william-francois · Answer

bon dieu vous êtes trop forts ! c'était l'expert 4 et 7 qui avaient raison en gros. une nouvelle lambda de "data quality" avait été déployée pour analyser nos logs bruts s3. sauf qu'elle était configurée pour lire tous les objets toutes les heures au lieu des nouveaux. résultat des millions de get/list requests par jour. j'ai corrigé la scope de la lambda. la facture va baisser ouf ! thx pour l'aide précieuse !

Facture AWS s3 a explosé sans raison apparente

Commentaires

Laisser une réponse

Invitation de l'entreprise OVH et présentation de l'outil CDS

Introduction au cours complet sur Terraform

Déboguer vos playbooks Ansible

Rejoindre la communauté