Hacktoberfest 2026: los issues que los mantenedores marcaron para octubre, abiertos y aptos para principiantes. Explorar issues de Hacktoberfest

a direct way to specify the worker spec

Abierto
  • ¿Algo no está bien?
#601 4 comentarios 1 reacción 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
5/5
Tiempo estimado
Más de una semana
Aptitud para principiantes
35/100
Tipo de issue
Nueva funcionalidad
Claridad
Bastante claro
Estado de actividad
Estancado
Stack tecnológico
python
Área
distributed-systems, hpc

Línea de trabajo

No se nombran archivos, pruebas ni puntos de entrada. Empieza revisando las API existentes de recursos de jobqueue y de configuración de workers, y después compara cómo se exponen los límites del scheduler para las queues compatibles. Se considera completado cuando exista una API definida que pueda aceptar una especificación de workers deseada, distribuir workers entre los jobs y fallar de forma temprana cuando la especificación solicitada no pueda encajar.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

I'm frequently confused by the way the API requires me to specify resources for the jobqueue: I need to specify the job size and the number of workers per job (there's quite a few more knobs, of course), and it would evenly distribute the resources to each worker. I can then choose how many jobs to submit.

However, as a user (with admittedly a limited knowledge of how HPC work, so what I'm describing may be naive), my view is usually something like:

  • my local jobqueue allows individual jobs to request up to 115GB of memory, 28 cores and a certain walltime, and for some queues there's also minimum resource limits
  • I want to have about 14 workers, with about 15 GB and 2 threads each, where the concrete worker specs are often somewhat arbitrary and depend on my knowledge of the problem I'm trying to compute

This usually leads to me trying to group the workers manually to optimally fit the resource limits (so I don't get de-prioritized by submitting too many jobs).

Instead, I ideally would like an API allows me to specify (or retrieve) the resource limits per job of the jobqueue and the desired worker spec. It would then try to optimally distribute the workers and submit the jobs for me (and fail early if the resource limits don't allow the worker spec I requested).

Does something like this exist already? If not, would you be open to adding something like that? Is there anything I'm missing that would inhibit something like this?

Lenguaje dominante
Python
Estrellas
256
Forks
149
Sin PR fusionados en 30 d

Preparar el entorno

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de dask/dask-jobqueue

Todos los issues de dask/dask-jobqueue

Issues similares

Más issues de Python

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.