Kafka Streams runner: read a source's splits in parallel
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 45/100
- issue の種類
- 機能追加
- 明瞭さ
- おおむね明確
- 活発さ
- 静か
- 技術スタック
- java, kafka
調査の方向性
ReadTranslator から始めます。ここでは現在、split(1, options) がちょうど 1 つの split を要求します。また、#18479 で追跡されている topic ベースの shuffle の作業を確認してください。bounded source と unbounded source が、個別の reader と watermark を持つ複数の split を Kafka Streams インスタンス間に分散して使用できるようになれば、変更は完了です。
索引モデルが issue の本文から書いたものです。
説明
Summary
The Kafka Streams runner splits a source into exactly one part and reads it with a single reader, so a source that could be read in parallel is not.
ReadTranslator calls split(1, options) and requires exactly one split back. A source returning more is rejected at translation rather than having the extra splits silently dropped, since that would be data loss, but the effect is that such a source cannot be read at all.
Reading several splits means giving each one its own reader and its own watermark, and distributing them across instances, which belongs with the topic-based shuffle work. Bounded and unbounded sources are both affected.
Part of #18479.
- 主要言語
- Java
- スター
- 8.7k
- フォーク
- 4.7k
- 平均マージ
- 2日 14時間
- マージ済み PR（30日）
- 271
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートあり
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
apache/beam のほかの issue
-
[Bug]: Row.toString throws for an ITERABLE field that is not backed by a List対応中かも @PDGGK が 60 日前に担当しました。 オープンjava P3
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
apache/beam#39624 · リアクション 2 件 ·
メンテナーはふだん 1 日以内に返信
-
[Bug]: PubsubIO used in batch incorrect batch cutoff size対応中かも @1fanwang が 49 日前に担当しました。 オープンbug io P3 pinned pubsub
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
apache/beam#28011 · コメント 4 件 ·
メンテナーはふだん 1 日以内に返信
-
build P3 sub-task
難易度 1/5 1時間未満 初心者へのやさしさ 68/100
メンテナーはふだん 1 日以内に返信
-
bug gcp io java P3
難易度 1/5 1時間未満 初心者へのやさしさ 65/100
メンテナーはふだん 1 日以内に返信
似ている issue
-
status: waiting-for-triage
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 62/100
-
難易度 2/5 1〜3時間 初心者へのやさしさ 74/100
メンテナーはふだん 1 日以内に返信
-
AOT compilation fails for derived delete queries returning Set対応中かも @ryujungkyun が今日担当しました。 オープンstatus: waiting-for-triage
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
spring-projects/spring-data-jpa#4387 ·
メンテナーはふだん 3 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
apache/rocketmq-dashboard#6636 ·
メンテナーはふだん 3 日以内に返信