nextflow-io/nextflow

Ability to use a time delay in 'errorStrategy' to re-submit scheduler jobs

Open

#721 aperta il 30 mag 2018

Vedi su GitHub
 (17 commenti) (0 reazioni) (0 assegnatari)Groovy (784 fork)batch import
help wanted

Metriche repository

Star
 (3382 star)
Metriche merge PR
 (Merge medio 16g 9h) (54 PR mergiate in 30 g)

Descrizione

Our HPC system is giving large amounts of errors like this:

Error executing process > 'sambamba_dedup_flagstat (1)'

Caused by:
  Failed to submit process to grid scheduler for execution

Command executed:

  qsub -terse .command.run

Command exit status:
  1

Command output:
  Unable to run job: failed receiving gdi request response for mid=1 (got syncron message receive timeout error)..
  Exiting.

This is the result of the scheduler (SGE) being unable to submit jobs or respond to queries. If I try again later, for example after 5 minutes, the job may be successfully scheduled.

The errorStrategy described here shows how to increase resource allotment on error.

However, in this case I need to wait a minute or two before attempt to submit the job again.

Is it possible to accomplish this or get this feature in Nextflow? An 'errorStrategy' of 'retry in 5 minutes'.

Guida contributor

Direzione di ricerca
Esamina l'implementazione esistente di errorStrategy nel codice di gestione dei processi di Nextflow, in particolare la logica di ripetizione. Identifica dove introdurre un ritardo temporale. Rivedi il codice dell'esecutore SGE per comprendere il flusso di ripetizione dell'invio del lavoro. Modifica la configurazione di errorStrategy per accettare un parametro temporale e implementa un ritardo prima del ripetizione.
Tech stack
groovy
Dominio
backend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
GroovyGit
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60