Use case: dask + redis + progress reporting

Abierto
#6 7 comentarios 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
5/5
Tiempo estimado
Más de una semana
Aptitud para principiantes
25/100
Tipo de issue
Nueva funcionalidad
Claridad
Necesita aclaración
Estado de actividad
Estancado
Stack tecnológico
python, redis
Área
backend-api-design, distributed-systems, stream-processing

Línea de trabajo

Start with distributed/diagnostics/progress.py, especially MultiProgress, and compare the cited rq, arq, and huey queue models. Define an approach for submitting Dask workflows through a web API, running workers, and storing workflow status and progress in Redis; the issue is done when that approach is agreed and documented.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

I have a couple of DAG workflows in dask. These workflows are triggered via user interfactions through a web API. I'd like to achieve the followings:

  1. The web API puts the workflow to a redis queue (RabbitMQ would be nice too, but redis is easier to start with).
  2. Run workers like the majority of job queue frameworks do (rq, arq, huey)
  3. Store the progress and current status of the workflows (with MultiProgress I guess) as key/values in redis

What would be the correct approach to implement it?

Lenguaje dominante
Python
Estrellas
1.3k
Forks
149
Sin PR fusionados en 30 d

Guía de contribución

Abrir la guía de contribución

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de python-streamz/streamz

Todos los issues de python-streamz/streamz

Issues similares

Más issues de Python

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.