nextflow-io/nextflow

Support container streaming for Google Batch

Ouverte

#4 719 ouverte le 7 févr. 2024

Voir sur GitHubGuide contributeur
 (3 commentaires) (0 réaction) (0 personne assignée)Groovy (784 forks)batch import
executor/google-batchgood first issue

Métriques du dépôt

Stars
 (3 382 étoiles)
Métriques de merge PR
 (Merge moyen 16j 9h) (54 PRs mergées en 30 j)

Description

Google Batch now supports container streaming (i.e. lazy loading container images) which improves startup time and reduces overhead, especially for fine-grained workloads.

https://cloud.google.com/batch/docs/use-image-streaming

For us to support it in Nextflow we just need to add a config option for enableImageStreaming.

Note that container streaming is currently only supported for container images in Artifact Registry. This is likely because they need to modify the container image format to support the lazy loading, so this requirement is unlikely to change.

Guide contributeur

Direction de recherche
Consultez la documentation de l'API Google Batch pour le paramètre enableImageStreaming et implémentez une nouvelle option de configuration dans l'exécuteur Google Batch de Nextflow.
Stack technique
java
Domaine
backendcloud
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Une demi journée
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
GitJava
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
70