Hacktoberfest 2026: los issues que los mantenedores marcaron para octubre, abiertos y aptos para principiantes. Explorar issues de Hacktoberfest

steps to speed up job submission?

Abierto
#36 13 comentarios 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
4/5
Tiempo estimado
3-5 días
Aptitud para principiantes
20/100
Tipo de issue
Documentación
Claridad
Necesita aclaración
Estado de actividad
Estancado
Stack tecnológico
r
Área
distributed-systems, hpc

Línea de trabajo

Comienza con la documentación de future.batchtools sobre el envío de trabajos, la asignación de SLURM, el inicio de los workers y la gestión de dependencias. Reproduce el retraso informado con un lote pequeño de trabajos y, a continuación, rastrea qué etapa representa ese tiempo. Se considera terminado cuando se explica la secuencia de envío y las opciones de configuración relevantes, o se identifica un problema de rendimiento específico.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

question

I'm using future.batchtools via drake, and just got my first plan running on the cluster. It seems to take about one minute for each job submitted, and since I'm trying to submit several hundred jobs, that's not ideal (although it's not a deal-breaker, because I expect each job to take many hours to finish). I'm not sure what I might be able to change in order to speed this up. I haven't dived into the code, but my idea of what needs to happen to start a worker is:

  1. analyse the code to find dependencies
  2. submit the job to the scheduler (SLURM in my case)
  3. wait for the job to be allocated
  4. wait for the worker to start up (and load libraries?)
  5. send data to the worker (and libraries?)

Is this basically accurate?

Does the worker load libraries already installed on its node, or are all libraries sent to the worker by the master? If the latter, then reducing library dependencies seems like a potential avenue to try.

Lenguaje dominante
R
Estrellas
87
Forks
10
Sin PR fusionados en 30 d

Guía de contribución

Abrir la guía de contribución

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de futureverse/future.batchtools

Todos los issues de futureverse/future.batchtools

Issues similares

Más issues de R

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.