nextflow-io/nextflow

AWS Batch Fargate requires exact CPU values?

Open

#5.781 aberto em 12 de fev. de 2025

Ver no GitHub
 (4 comments) (0 reactions) (0 assignees)Groovy (784 forks)batch import
executor/aws-batchgood first issue

Métricas do repositório

Stars
 (3.382 stars)
Métricas de merge de PR
 (Mesclagem média 3d 18h) (38 fundiu PRs em 30d)

Description

When running wf-human-variation from ONT on AWSBatch Fargate, I get this error

ERROR ~ Error executing process > 'ingress:minimap2_alignment (1)'

Caused by:
  Requirement of 12 CPUs is not allowed by Fargate -- Check process with name 'ingress:minimap2_alignment (1)'

From what I can tell it's because the requested CPU value does not match one from the list found here:

https://github.com/nextflow-io/nextflow/blob/944f48f9b52d47032bf57e16cfe11fe9410972b2/plugins/nf-amazon/src/main/nextflow/cloud/aws/batch/AwsBatchTaskHandler.groovy#L923-L943

It seems a bit restrictive to require specific CPU values, am I doing something wrong or is that in fact the case?

Guia do colaborador

Direção de pesquisa
O problema aponta para um arquivo específico no plugin Nextflow AWS Batch: AwsBatchTaskHandler.groovy, linhas 923-943, que define uma lista de valores de CPU permitidos para o Fargate. O erro ocorre porque o processo requer 12 CPUs, que não está nessa lista. Uma correção potencial seria ajustar a solicitação de CPU do processo para um valor válido do Fargate ou modificar o plugin para arredondar automaticamente para o valor permitido mais próximo (se permitido pela AWS). O problema é claro e bem documentado, e ainda não existem PRs vinculados.
Pilha de tecnologia
groovyaws
Domain
backendcloudinfrastructure
Tipo Issue
Bug
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Recente
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Principalmente claro
Prerequisites
AWS BatchFargateGroovy programming
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
30