8 commentaires
hello
10TB de logs qui sont rarement accédés, ça crie "lifecycle rules". t'as configuré des règles de transition vers des classes de stockage moins chères genre S3 Standard-IA (Infrequent Access) ou Glacier Deep Archive ? IA c'est moins cher au Go stocké mais plus cher à l'accès. Deep Archive encore moins cher mais retrieval plus long et cher.
ouais, et c'est quoi le pattern d'accès ? tu dis "une ou deux fois par mois". si c'est des petits fichiers à chaque fois, ça peut générer bcp de requêtes GET/LIST et ça chiffre vite. regardes les métriques CloudWatch sur les GET et LIST requests.
merci les gars
user_key:3 non j'ai pas mis de lifecycle rules, tout est en Standard. je pensais que c'était le default le moins cher. user_key:4 c'est surtout des gros fichiers de logs qui sont créés toutes les heures. quand on y accède c'est pour télécharger un ou deux fichiers spécifiques, pas des millions de petites requêtes.
non Standard c'est pour du stockage chaud, accès fréquent. pour ton usage il faut vraiment des lifecycle rules. un truc simple : transition vers Standard-IA après 30 jours, puis vers Glacier après 90 jours, puis Deep Archive après 180 jours. ça va faire chuter le coût de stockage par Go.
pense aussi aux frais de PUT si tu uploades bcp de petits fichiers. si chaque log est un objet S3, même petit, le nombre de PUT peut coûter cher. si c le cas, essaye de regrouper les logs en objets plus grands avant d'uploader, genre un fichier par heure au lieu d'un fichier par logline.
ah ok je comprends mieux. j'ai bien des millions de petits fichiers de logs qui sont uploadés toutes les minutes par nos applications. je pensais pas que les put coûtaient si cher.
ok super ! je vais mettre ça en place. je vais devoir modifier nos apps pour qu'elles streament les logs vers un service qui consolide avant de les uploader sur S3. ça va prendre un peu de temps mais ça devrait valoir le coup. merci pour l'aide !
Laisser une réponse
Vous devez être connecté pour poster un message !
yo la team finops
je viens de recevoir la facture AWS du mois et j'ai une ligne S3 de dingue. en fouillant un peu c'est un bucket de logs qui me coûte un bras. on stocke des logs d'applicatifs dedans, genre 10TB de données. on y accède pas souvent, genre une ou deux fois par mois pour du debug ou de la compliance.
je comprends pas pourquoi c'est si cher, c'est du stockage "froid" normalement. des idées pour réduire ça ?