Plumbing metadata

Offen

#110 erstellt am 18.10.2017 8 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit: 5/5
Geschätzter Aufwand: Über eine Woche
Anfängerfreundlichkeit: 20/100

Issue-Typ: Feature
Klarheit: Muss geklärt werden
Aktivitätsstatus: Veraltet
Tech-Stack: python
Bereich: stream-processing

Rechercherichtung

No files or tests are named. Start by reviewing the initial blog post and the referenced SHED discussion, then clarify the metadata model, how nodes should pass or modify it, and what sinks should ignore; the issue does not define a completion test.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

From the initial blog post:

Annotate elements: we want to pass through event time, processing time, and presumably other metadata

It might be good to have this discussion in the near future (now?) since we are having some discussion on the SHED side about things that are like this/may include this.

Not that this is necessarily the best option:
Make a dedicated object for metadata (really just a dict). Every node knows to check if the thing that came down was this object before doing anything. If isinstance (x, MetadataObject) then just pass it on or append something to it or modify it. The sinks know to ignore it for the most part.

@mrocklin @danielballan @jrmlhermitte

Vorherrschende Sprache: Python
Sterne: 1.3k
Forks: 149
PR-Merge-Kennzahlen: Keine gemergten PRs in 30 T.

Beitragsleitfaden

Beitragsleitfaden öffnen

Erste Schritte

Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
Forken Sie das Repository und arbeiten Sie in einem Branch.
Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus python-streamz/streamz

pkg_resources warning Offen

Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 35/100

python-streamz/streamz#481 · 4 Kommentare · Erstellt am 23.6.2025
Combining the streamz.Stream.filenames() and streamz.Stream.from_textfile() using dask scatter? Offen

Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 25/100

python-streamz/streamz#480 · 2 Kommentare · Erstellt am 10.2.2025
Compile the code into c++ Offen

Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 20/100

python-streamz/streamz#479 · 1 Kommentar · Erstellt am 28.10.2024
Suggestions for improving code performance Offen

Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 20/100

python-streamz/streamz#478 · 6 Kommentare · Erstellt am 17.9.2024
Is streamz not maintained anymore? What happened to cuStreamz? Offen

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 10/100

python-streamz/streamz#476 · 17 Kommentare · 2 Reaktionen · Erstellt am 28.4.2024

Alle Issues in python-streamz/streamz