Kafka Streams runner: side inputs

Ouverte
#39,628 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Les mainteneurs répondent en général sous 1 jour

Personne n'a encore pris cette issue.

Évaluation

Difficulté
4/5
Temps estimé
3-5 jours
Accessibilité débutants
48/100
Type d'issue
Fonctionnalité
Clarté
Plutôt claire
Activité
Calme
Stack technique
java, kafka

Piste de recherche

Commencez par le code du runner Kafka Streams qui utilise actuellement StateRequestHandler.unsupported(), puis consultez BatchSideInputHandlerFactory et StateRequestHandlers.forSideInputHandlerFactory comme référence Flink. Le travail est terminé lorsque l’état du side input est fourni au SDK harness pendant un bundle actif et que le stage watermark attend que chaque side input soit prêt.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

The Kafka Streams runner executes stages with StateRequestHandler.unsupported(), so a pipeline using side inputs cannot run.

Supporting them means serving side input state to the SDK harness while a bundle is in flight, and holding the stage's watermark until each side input is ready. BatchSideInputHandlerFactory and StateRequestHandlers.forSideInputHandlerFactory are how the Flink runner does it.

Part of #18479.

Langage dominant
Java
Étoiles
8.7k
Forks
4.8k
Merge moyen
2 j 12 h
PR mergées (30 j)
371

Préparer son environnement

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de apache/beam

Toutes les issues de apache/beam

Issues similaires

Plus d'issues Java

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.