nextflow-io/nextflow

AWS Batch Fargate requires exact CPU values?

Open

#5 781 ouverte le 12 févr. 2025

Voir sur GitHub
 (4 commentaires) (0 réactions) (0 assignés)Groovy (784 forks)batch import
executor/aws-batchgood first issue

Métriques du dépôt

Stars
 (3 382 stars)
Métriques de merge PR
 (Merge moyen 3j 18h) (38 PRs mergées en 30 j)

Description

When running wf-human-variation from ONT on AWSBatch Fargate, I get this error

ERROR ~ Error executing process > 'ingress:minimap2_alignment (1)'

Caused by:
  Requirement of 12 CPUs is not allowed by Fargate -- Check process with name 'ingress:minimap2_alignment (1)'

From what I can tell it's because the requested CPU value does not match one from the list found here:

https://github.com/nextflow-io/nextflow/blob/944f48f9b52d47032bf57e16cfe11fe9410972b2/plugins/nf-amazon/src/main/nextflow/cloud/aws/batch/AwsBatchTaskHandler.groovy#L923-L943

It seems a bit restrictive to require specific CPU values, am I doing something wrong or is that in fact the case?

Guide contributeur

Direction de recherche
Le problème pointe vers un fichier spécifique du plugin Nextflow AWS Batch : AwsBatchTaskHandler.groovy, lignes 923-943, qui définit une liste de valeurs CPU autorisées pour Fargate. L'erreur se produit car le processus nécessite 12 CPU, qui ne figure pas dans cette liste. Une correction potentielle serait soit d'ajuster la demande de CPU du processus à une valeur Fargate valide, soit de modifier le plugin pour qu'il arrondisse automatiquement à la valeur autorisée la plus proche (si autorisé par AWS). Le problème est clair et bien documenté, et il n'existe pas encore de PR liés.
Stack technique
groovyaws
Domaine
backendcloudinfrastructure
Type d'issue
Bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Récente
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
AWS BatchFargateGroovy programming
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
30