Facture S3 qui explose sans raison apparente

Posté par xlecoq le 24/12/2025
RÉSOLU

xlecoq

Membre depuis le 21/07/2024

Bon sang la facture AWS du mois, notre S3 a explosé ! Genre x10 par rapport au mois dernier. On stocke des fichiers logs et backups, et le volume total a pas bougé des masses. J'ai checké le stockage mais c'est les `requests` et le `data transfer out` qui sont devenus dingues. Y a moyen de débugger ça sans passer des jours dans CloudWatch ?

Commentaires

uroussel

Membre depuis le 25/01/2020

salut ! x10 c'est énorme. c'est quoi le type de requêtes qui a explosé ? `GetObject`, `PutObject`, `ListBucket` ? et le `data transfer out` c'est vers l'internet ou vers d'autres services aws dans une autre région ?

xlecoq

Membre depuis le 21/07/2024

C'est surtout du `GetObject` et du `ListBucket` en fait. le `data transfer out` c'est clairement vers l'internet. on a pas d'appli qui downloadent des téraoctets par mois. j'ai regardé les métriques S3 dans CloudWatch mais ça me donne pas les sources des requêtes

uroussel

Membre depuis le 25/01/2020

ok `getobject` et `listbucket` + transfer out vers internet c'est souvent un accès public non intentionnel ou un bot/crawler qui spamme. t'as activé les s3 server access logs sur le bucket ? c'est le meilleur moyen de voir les ips sources et les user agents

xlecoq

Membre depuis le 21/07/2024

non j'avais pas activé les access logs, je l'ai fait là. ça va me coûter un bras de plus je sens. mais j'en ai besoin. je les ai configurés pour aller dans un autre bucket. je vais les parser avec athena. j'espère trouver un truc louche.

uroussel

Membre depuis le 25/01/2020

oui c'est la meilleure piste. en attendant que les logs s'accumulent, vérifie la politique de bucket et les ACLs. y a pas un truc qui est passé en public par erreur ? et des fois un crawler mal configuré qui tourne en boucle sur un listing ?

xlecoq

Membre depuis le 21/07/2024

bingo ! putain y a un dossier `backups/public/` qui est apparu et il a été mis en public par une automatisation à la con. je vois des tonnes de requêtes anonymes dessus dans les logs. je viens de le repasser en privé. j'espère que ça va calmer le jeu. merci pour le tuyau des logs et du public access !

uroussel

Membre depuis le 25/01/2020

ouaip ça sent bon la boulette d'automatisation ça. content que t'aies trouvé. pense à mettre des alertes sur les métriques de requêtes S3 si ça se reproduit pour choper ça plus vite la prochaine fois. et audit tes policies auto si tu peux

xlecoq

Membre depuis le 21/07/2024

clairement ! je vais ajouter une alerte et revoir mes scripts. merci encore pour l'aide précieuse !

Laisser une réponse

Vous devez être connecté pour poster un message !

Rejoindre la communauté

Recevoir les derniers articles gratuitement en créant un compte !

S'inscrire