ENH: DaskStream from set of futures

Aperta
#163 4 commenti 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
5/5
Tempo stimato
Più di una settimana
Idoneità per principianti
25/100
Tipo di issue
Funzionalità
Chiarezza
Abbastanza chiara
Stato di attività
Ferma
Stack tecnologico
python
Ambito
data, stream-processing

Direzione di ricerca

Start with issue #163 and inspect the repository's existing stream abstractions and future-related integration points. Define the API and behavior for emitting future state changes or periodic aggregate status, then verify that progress reporting and incremental result accumulation are supported as described.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

Suggest something like the equivalent of dask's as_completed, which emits whenever one of the futures contained changes state, or on a regular frequency with the current status of all futures. This could allow

  • flexible versions of the dask progress bar (i.e., we care about how many futures are in what state)
  • the stream-wise accumulation of futures results, e.g., we are calculating a grand histogram over many datasets, and would like to visualise the histogram so far, as it builds.
Lingua principale
Python
Stelle
1.3k
Fork
149
Nessuna PR unita negli ultimi 30g

Guida per i contributori

Apri la guida per i contributori

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di python-streamz/streamz

Tutte le issue di python-streamz/streamz

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.