nextflow-io/nextflow

Ability to use a time delay in 'errorStrategy' to re-submit scheduler jobs

Open

#721 geöffnet am 30. Mai 2018

Auf GitHub ansehen
 (17 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Groovy (784 Forks)batch import
help wanted

Repository-Metriken

Stars
 (3.382 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 16T 9h) (54 gemergte PRs in 30 T)

Beschreibung

Our HPC system is giving large amounts of errors like this:

Error executing process > 'sambamba_dedup_flagstat (1)'

Caused by:
  Failed to submit process to grid scheduler for execution

Command executed:

  qsub -terse .command.run

Command exit status:
  1

Command output:
  Unable to run job: failed receiving gdi request response for mid=1 (got syncron message receive timeout error)..
  Exiting.

This is the result of the scheduler (SGE) being unable to submit jobs or respond to queries. If I try again later, for example after 5 minutes, the job may be successfully scheduled.

The errorStrategy described here shows how to increase resource allotment on error.

However, in this case I need to wait a minute or two before attempt to submit the job again.

Is it possible to accomplish this or get this feature in Nextflow? An 'errorStrategy' of 'retry in 5 minutes'.

Contributor Guide

Research-Richtung
Untersuche die bestehende errorStrategy Implementierung im Nextflow Prozessverwaltungscode, insbesondere die Wiederholungslogik. Identifiziere, wo eine Zeitverzögerung eingeführt werden kann. Überprüfe den SGE Executor Code, um den Wiederholungsablauf der Jobübermittlung zu verstehen. Ändere die errorStrategy Konfiguration, um einen Zeitparameter zu akzeptieren, und implementiere eine Verzögerung vor der Wiederholung.
Tech Stack
groovy
Domain
backend
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Halber Tag
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
GroovyGit
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
60