Optimisation des temps de déploiement CI/CD avec Docker Layer Caching

Question

On galère avec nos temps de build Docker. Chaque build prend environ 8 minutes à cause de l'installation des dépendances npm alors qu'elles ne changent pas à chaque commit. On utilise GitLab CI avec le cache distribué, mais ça semble sous-performant.

Quelles sont vos stratégies pour optimiser le docker build ? Est-ce que le --cache-from avec une image intermédiaire est vraiment plus efficace qu'un simple volume de cache ?

daniel18 · Answer

Le --cache-from est indispensable si tu utilises des runners éphémères. Par contre, il faut s'assurer que ton image est bien poussée après chaque build réussi.

ibernard · Answer

As-tu essayé le montage de cache spécifique avec BuildKit ? C'est beaucoup plus rapide pour npm ou pip.RUN --mount=type=cache,target=/root/.npm npm install

ymenard · Answer

Je n'avais pas pensé au --mount=type=cache. Ça évite de copier les fichiers dans l'image finale, c'est ça ?

omoulin · Answer

Exactement. C'est un point de montage temporaire pendant le build. C'est beaucoup plus efficace pour les dépendances lourdes.

daniel18 · Answer

Attention cependant à la persistance du cache sur les runners GitLab. Si ton runner n'a pas de cache local, ça ne servira à rien.

ymenard · Answer

Nos runners sont sur des instances EC2 avec un disque SSD. Le cache local devrait être rapide.

ibernard · Answer

Si tu es sur AWS, regarde aussi buildx avec un backend de cache S3, c'est top pour le multi-node.

ymenard · Answer

Le cache S3 me semble être la solution la plus robuste pour éviter de dépendre du runner local.

omoulin · Answer

Clairement, surtout si tu as des runners qui tournent en auto-scaling.

daniel18 · Answer

Pense aussi à bien ordonner tes COPY dans ton Dockerfile pour maximiser le cache des couches.

ymenard · Answer

Oui, on fait bien COPY package.json . avant le reste. Je vais implémenter le --mount et le cache S3. Merci pour les pistes.

Optimisation des temps de déploiement CI/CD avec Docker Layer Caching

11 commentaires

Laisser une réponse

Création d'un playbook multi distributions

Créez vos propres modules ansible

Les provisioners et taints

L'IA au plus près de l'action : Maîtrisez le MLOps à la Périphérie

Tissus Réseaux Intelligents : L'Ère de l'Opération par Intention

Rejoindre la communauté