S3 cost explosion après une migration d'env de staging
Commentaires
Membre depuis le 22/05/2019
salut ! t'as checké les logs s3 et cloudwatch metrics pour s3 ? souvent c'est soit des requêtes get/put en masse non prévues soit des delete requests à gogo si une purge est mal configurée. ou un truc avec la réplication cross-region si elle est activée par erreur
Membre depuis le 16/12/2019
pas de réplication cross-region. par contre les logs s3 montrent des millions de requêtes listobject. et j'ai des outils de monitoring qui font des s3 ls récursifs toutes les 5 minutes pour vérifier la cohérence du bucket. ça pourrait être ça ?
Membre depuis le 17/04/2020
oui clairement ! listobject est facturé au nombre de requêtes. si tu as des millions de fichiers et que tu fais des listes récursives fréquemment ça chiffre très vite. limite les listes aux préfixes nécessaires ou utilise des inventaires s3 pour avoir une vue sans requêter chaque fois
Membre depuis le 16/12/2019
ok je vois le souci. l'outil de monitoring a été configuré en mode 'vérification complète' au lieu de 'delta'. je vais désactiver le scan complet et le faire passer par un inventaire s3 nocturne. merci pour le tuyau ça va me sauver le budget
Laisser une réponse
Vous devez être connecté pour poster un message !
Rejoindre la communauté
Recevoir les derniers articles gratuitement en créant un compte !
S'inscrire
marie-lebreton
Membre depuis le 16/12/2019
hello la team petite alerte finops là. on vient de migrer notre env de staging sur s3 pour le stockage de fichiers statiques et images. depuis la facture s3 a explosé genre x5 sans réelle augmentation de charge ou de données. j'ai l'impression que quelque chose ne tourne pas rond