nextflow-io/nextflow

AWS Batch Fargate requires exact CPU values?

Open

#5.781 geöffnet am 12. Feb. 2025

Auf GitHub ansehen
 (4 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Groovy (784 Forks)batch import
executor/aws-batchgood first issue

Repository-Metriken

Stars
 (3.382 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 3T 18h) (38 gemergte PRs in 30 T)

Beschreibung

When running wf-human-variation from ONT on AWSBatch Fargate, I get this error

ERROR ~ Error executing process > 'ingress:minimap2_alignment (1)'

Caused by:
  Requirement of 12 CPUs is not allowed by Fargate -- Check process with name 'ingress:minimap2_alignment (1)'

From what I can tell it's because the requested CPU value does not match one from the list found here:

https://github.com/nextflow-io/nextflow/blob/944f48f9b52d47032bf57e16cfe11fe9410972b2/plugins/nf-amazon/src/main/nextflow/cloud/aws/batch/AwsBatchTaskHandler.groovy#L923-L943

It seems a bit restrictive to require specific CPU values, am I doing something wrong or is that in fact the case?

Contributor Guide

Research-Richtung
Das Problem verweist auf eine bestimmte Datei im Nextflow AWS Batch Plugin: AwsBatchTaskHandler.groovy, Zeilen 923-943, die eine Liste zulässiger CPU Werte für Fargate definiert. Der Fehler tritt auf, weil der Prozess 12 CPUs benötigt, was nicht in dieser Liste enthalten ist. Eine mögliche Lösung wäre, entweder die CPU Anforderung des Prozesses auf einen gültigen Fargate Wert anzupassen oder das Plugin so zu ändern, dass automatisch auf den nächstgelegenen zulässigen Wert aufgerundet wird (sofern von AWS erlaubt). Das Problem ist klar und gut dokumentiert, und es gibt noch keine verknüpften PRs.
Tech Stack
groovyaws
Domain
backendcloudinfrastructure
Issue Type
Fehler
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-2 Tage
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Frisch
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Meist klar
Voraussetzungen
AWS BatchFargateGroovy programming
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
30