Coûts Egress data transfer S3 qui explosent

yo ! première chose à faire, active les logs d'accès sur tes buckets s3 si c'est pas déjà fait. ça va te donner une idée de qui (adresses ip, user-agents) et quand accède à tes objets. ça aide à identifier un pattern ou un abus.

T'aurais pas activé la réplication cross-region (CRR) sur un bucket par accident? Ou tu partages des buckets avec d'autres comptes AWS et y a eu une hausse de pull de leur côté? La CRR, ça coûte en transfert de données.

Est-ce que tu utilises CloudFront ou un autre CDN devant S3? Si non, le trafic sort directement de S3 et c'est beaucoup plus cher. Si oui, vérifie que ton CDN est bien configuré pour servir le max de requêtes et pas refetch trop souvent de S3.

Des applications externes, des partenaires, ou même des services d'analytics qui pullent des données de tes buckets? J'ai déjà vu des coûts exploser parce qu'un service tiers s'est mis à aspirer des volumes dingues.

Tes buckets sont-ils publics? Même si c'est pour des assets web, des bots ou des scrapers malveillants peuvent pomper beaucoup de données sans que tu le saches si t'as pas de restrictions. Regarde les User-Agents dans les logs d'accès.

Regarde tes logs DNS aussi. Si des services résolvent tes endpoints S3 directement et contournent CloudFront (si tu en as un), c'est du coût Egress S3 direct. Un service interne mal configuré ou un dev qui teste un truc en direct.

Un ETL (Extract Transform Load) mal configuré qui loop ou qui re-télécharge les mêmes données sans caching? Ça peut vider un bucket rapidement en data egress.

Vérifie les métriques S3 `BytesDownloaded` par bucket dans CloudWatch. Ça te donnera une granularité au niveau du bucket pour voir lequel est la source du problème.

Si c'est des fichiers de backup, est-ce que tu aurais passé un bucket en S3 Glacier ou Infrequent Access récemment? Les coûts de récupération peuvent être très élevés si tu tires beaucoup de données de ces classes de stockage.

Audit les IAM roles et policies sur tes buckets S3. Peut-être une nouvelle permission a été ajoutée qui permet à un service ou un user de pull des données qu'il ne devrait pas.

Et enfin, une Lambda ou un autre service qui télécharge des objets d'un bucket puis les re-upload dans un autre bucket sans passer par un bon cache ou une optimisation? J'ai vu des choses étranges avec des Lambdas s'auto-déclenchant.

Un immense merci à tous pour les pistes ! C'était un combo de plusieurs trucs. Un de nos buckets publics était la cible d'un bot scraper qui aspirait nos assets statiques. Et on avait aussi un vieux script de backup qui rapatriait tout en on-prem toutes les nuits sans compression ni déduplication. J'ai activé CloudFront et mis des restrictions IP/user-agent sur les buckets critiques. Le coût devrait redescendre !