Use case: dask + redis + progress reporting

Đang mở
#6 7 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
25/100
Loại issue
Tính năng
Độ rõ ràng
Cần làm rõ
Mức độ hoạt động
Đình trệ
Công nghệ
python, redis
Lĩnh vực
backend-api-design, distributed-systems, stream-processing

Hướng nghiên cứu

Start with distributed/diagnostics/progress.py, especially MultiProgress, and compare the cited rq, arq, and huey queue models. Define an approach for submitting Dask workflows through a web API, running workers, and storing workflow status and progress in Redis; the issue is done when that approach is agreed and documented.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

I have a couple of DAG workflows in dask. These workflows are triggered via user interfactions through a web API. I'd like to achieve the followings:

  1. The web API puts the workflow to a redis queue (RabbitMQ would be nice too, but redis is easier to start with).
  2. Run workers like the majority of job queue frameworks do (rq, arq, huey)
  3. Store the progress and current status of the workflows (with MultiProgress I guess) as key/values in redis

What would be the correct approach to implement it?

Ngôn ngữ chính
Python
Star
1.3k
Fork
149
Không có pull request nào được merge trong 30 ngày

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của python-streamz/streamz

Tất cả issue của python-streamz/streamz

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.