Kafka Streams runner: splittable DoFn
Maintainer antworten meist innerhalb von 1 Tag
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Anfängerfreundlichkeit
- 35/100
- Issue-Typ
- Feature
- Klarheit
- Größtenteils klar
- Aktivitätsstatus
- Ruhig
- Tech-Stack
- java, kafka
- Bereich
- stream-processing
Rechercherichtung
Beginne mit der Übersetzung des veralteten Read-Primitives und der ValidatesRunner-Suite-Kategorien UsesBoundedSplittableParDo und UsesUnboundedSplittableParDo durch den Kafka Streams runner. Verfolge, wie der runner Einschränkungen, Checkpointing, Residuen und dynamisches Splitting über die Fn API behandelt. Als abgeschlossen gilt die Arbeit, wenn beide Kategorien unterstützt werden, statt ausgeschlossen zu sein, und zwar für begrenzte und unbegrenzte splittable DoFns.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
The Kafka Streams runner does not support splittable DoFn, bounded or unbounded. Sources are read through the deprecated primitive Read, which the runner forces Read-based SDFs into during translation.
Supporting SDF means handling restrictions, checkpointing and residuals over the Fn API, along with dynamic splitting. The UsesBoundedSplittableParDo and UsesUnboundedSplittableParDo categories are excluded from the ValidatesRunner suite.
Part of #18479.
- Vorherrschende Sprache
- Java
- Sterne
- 8.7k
- Forks
- 4.8k
- Ø Merge
- 2 T. 12 Std.
- Gemergte PRs (30 T.)
- 371
Entwicklungsumgebung
- Kein Dockerfile und keine Docker-Compose-Datei
- Hat eine Pull-Request-Vorlage
- Beitragsleitfaden lesen
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus apache/beam
-
awaiting triage bug P3
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 67/100
apache/beam#41197 · 2 Kommentare ·
Maintainer antworten meist innerhalb von 1 Tag
-
[Bug]: [Python] WriteToJson silently rounds floats to 10 decimal placesEvtl. vergeben @Abhi2939 hat das vor 2 Tagen übernommen. Offenio P2 python yaml
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 62/100
apache/beam#41102 · 4 Kommentare ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 68/100
apache/beam#39624 · 2 Reaktionen ·
Maintainer antworten meist innerhalb von 1 Tag
-
[Bug]: PubsubIO used in batch incorrect batch cutoff sizeEvtl. vergeben @1fanwang hat das vor 79 Tagen übernommen. Offenbug io P3 pinned pubsub
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
apache/beam#28011 · 4 Kommentare ·
Maintainer antworten meist innerhalb von 1 Tag
-
build P3 sub-task
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 68/100
Maintainer antworten meist innerhalb von 1 Tag
Ähnliche Issues
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
spAnser/reacharound#38 ·
-
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 89/100
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
-
Type: Bug
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 83/100
MovingBlocks/Terasology#5415 ·
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 75/100