Hacktoberfest 2026: los issues que los mantenedores marcaron para octubre, abiertos y aptos para principiantes. Explorar issues de Hacktoberfest

Use LSF blaunch command in LSFJob to start the workers in a multitask job

Abierto
  • ¿Algo no está bien?
#672 1 comentario 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
4/5
Tiempo estimado
3-5 días
Aptitud para principiantes
35/100
Tipo de issue
Nueva funcionalidad
Claridad
Bastante claro
Estado de actividad
Estancado
Stack tecnológico
python
Área
distributed-systems, hpc

Línea de trabajo

Comienza en el constructor de LSFJob y en el punto de entrada job_cls de LSFCluster, y después compara el comando actual distributed.cli.dask_worker con la invocación propuesta de blaunch. Se considera terminado cuando un trabajo LSF multitarea inicia un worker por tarea en los hosts solicitados sin requerir span[hosts=1], y el comportamiento está cubierto por las pruebas relevantes de trabajos LSF, si están disponibles.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

Hello, I am using Dask with IBM LSF cluster, I noted that the current LSF Cluster implementation does not give the ability to start an LSF job on multiple hosts, which can be achieved by using the LSF blaunch command.

Modification proposal

The current way of starting multiple workers on one job that has multiple tasks (-n bsub option) is by setting the --nworkers option of distributed.cli.dask_worker to the number of tasks. Could it be a better option to use instead the blaunch command provided by LSF to run a command on each requested task ? In this way the workers will be dispatched on the different hosts provided by LSF and the span[hosts=1] will not be required anymore.

Here a test code I made by subclassing LSFJob class to try using blaunch.

class CustomLSFJob(LSFJob):

    def __init__(self, scheduler=None, name=None, **kwargs):
        super().__init__(scheduler=scheduler, name=name, **kwargs)

        self._command_template = (
            f"blaunch '/path/to/python -m distributed.cli.dask_worker {self.scheduler} --name {name}-$LSF_PM_TASKID --nthreads 1 --memory-limit 1.86GiB --nworkers 1 --nanny --death-timeout 60'"
        )

        self.job_header = self.job_header.replace(
            '#BSUB -R "span[hosts=1]"',
            '#BSUB -R "span[hosts=-1]"',
        )


class CustomLSFCluster(LSFCluster):
    job_cls = CustomLSFJob

This code is not usable as is, but I think the changes will only be limited to the constructor of the LSFJob class.

Is this an interesting idea ?

Lenguaje dominante
Python
Estrellas
256
Forks
149
Sin PR fusionados en 30 d

Preparar el entorno

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de dask/dask-jobqueue

Todos los issues de dask/dask-jobqueue

Issues similares

Más issues de Python

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.