Kafka Streams runner: side inputs

Offen
  • Stimmt etwas nicht?
#39,628 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Maintainer antworten meist innerhalb von 1 Tag

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Anfängerfreundlichkeit
48/100
Issue-Typ
Feature
Klarheit
Größtenteils klar
Aktivitätsstatus
Ruhig
Tech-Stack
java, kafka
Bereich
stream-processing

Rechercherichtung

Beginne mit dem Kafka Streams runner code, der derzeit StateRequestHandler.unsupported() verwendet, und lies anschließend BatchSideInputHandlerFactory und StateRequestHandlers.forSideInputHandlerFactory als Flink-Referenz. Die Arbeit ist abgeschlossen, wenn der side input state während eines aktiven Bundles an den SDK harness geliefert wird und der stage watermark wartet, bis jeder side input bereit ist.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

The Kafka Streams runner executes stages with StateRequestHandler.unsupported(), so a pipeline using side inputs cannot run.

Supporting them means serving side input state to the SDK harness while a bundle is in flight, and holding the stage's watermark until each side input is ready. BatchSideInputHandlerFactory and StateRequestHandlers.forSideInputHandlerFactory are how the Flink runner does it.

Part of #18479.

Vorherrschende Sprache
Java
Sterne
8.7k
Forks
4.8k
Ø Merge
2 T. 12 Std.
Gemergte PRs (30 T.)
371

Entwicklungsumgebung

Erste Schritte

  1. Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
  3. Forken Sie das Repository und arbeiten Sie in einem Branch.
  4. Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus apache/beam

Alle Issues in apache/beam

Ähnliche Issues

Weitere Issues zu Java

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.