ENH: DaskStream from set of futures

Đang mở
#163 4 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
25/100
Loại issue
Tính năng
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Đình trệ
Công nghệ
python
Lĩnh vực
data, stream-processing

Hướng nghiên cứu

Start with issue #163 and inspect the repository's existing stream abstractions and future-related integration points. Define the API and behavior for emitting future state changes or periodic aggregate status, then verify that progress reporting and incremental result accumulation are supported as described.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Suggest something like the equivalent of dask's as_completed, which emits whenever one of the futures contained changes state, or on a regular frequency with the current status of all futures. This could allow

  • flexible versions of the dask progress bar (i.e., we care about how many futures are in what state)
  • the stream-wise accumulation of futures results, e.g., we are calculating a grand histogram over many datasets, and would like to visualise the histogram so far, as it builds.
Ngôn ngữ chính
Python
Star
1.3k
Fork
149
Chỉ số merge pull request
Không có pull request nào được merge trong 30 ngày

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của python-streamz/streamz

Tất cả issue của python-streamz/streamz

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.