[Flink] Support Flink batch insert into Fluss primary-key tables
メンテナーはふだん 2 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 初心者へのやさしさ
- 35/100
- issue の種類
- 機能追加
- 明瞭さ
- おおむね明確
- 活発さ
- 活発
- 技術スタック
- java
調査の方向性
まず Flink connector の bounded INSERT 処理と BulkLoad client SDK のエントリポイントを特定し、次に transactions、build tasks、bucket results、commits がどのように連携されるかを追跡します。対応する bounded jobs が primary-key targets に対して、1 回の協調された commit、明確なエラー処理、保護された認証情報、文書化された設定と制限事項を備えた bulk-load を実行できれば完了です。
索引モデルが issue の本文から書いたものです。
説明
Search before asking
- I searched in the issues and found nothing similar.
Description
Integrate the BulkLoad client SDK with the Flink connector so a bounded
INSERT INTO job can efficiently populate an empty Fluss primary-key table or
partition.
The Flink integration should coordinate one server transaction, build buckets
in parallel, and publish the target only after every bucket has completed.
Scope
- Add an explicit connector option for selecting the BulkLoad path.
- Enable BulkLoad only for bounded Flink jobs and supported primary-key tables.
- Begin one BulkLoad transaction for the physical target.
- Distribute the immutable build context to parallel build tasks.
- Assign every input row to its Fluss bucket.
- Build bucket snapshots in parallel through
openBuildSession. - Collect one completed result for every target bucket.
- Commit the complete manifest through one coordinated commit path.
- Abort or report a clear failure when the job cannot complete before the
durable Commit decision. - Keep temporary credentials out of Flink records, committables, checkpoints,
and savepoints. - Document configuration, supported cases, failure behavior, and operational
limitations.
Willingness to contribute
- I'm willing to submit a PR!
- 主要言語
- Java
- スター
- 2.2k
- フォーク
- 658
- 平均マージ
- 3日 4時間
- マージ済み PR（30日）
- 106
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートあり
- コントリビューションガイドなし
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
apache/fluss のほかの issue
-
[lake/iceberg] Reserved write-mode properties can be set and reset through their `iceberg.` key対応中かも @aphenix-r7 が 10 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
apache/fluss#4658 · コメント 1 件 ·
メンテナーはふだん 2 日以内に返信
-
[common] Decimal#hashCode is inconsistent with Decimal#equals対応中かも @firasbouzazi が 22 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
apache/fluss#4538 · コメント 1 件 ·
メンテナーはふだん 2 日以内に返信
-
[security] PlainSaslServerProvider conflicts with Hadoop SASL provider causing authentication failure対応中かも @xinzhang-hello が 27 日前に担当しました。 オープン
難易度 1/5 1時間未満 初心者へのやさしさ 88/100
メンテナーはふだん 2 日以内に返信
-
[server] KV snapshot scheduling stops permanently after a transient snapshot-init failure対応中かも @zhang-arvin が 27 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 88/100
apache/fluss#4489 · コメント 1 件 ·
メンテナーはふだん 2 日以内に返信
-
[docs] Document advertised-resource and ACL principal ignore-case options対応中かも @EchoLee5 が 39 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
メンテナーはふだん 2 日以内に返信
似ている issue
-
難易度 1/5 1時間未満 初心者へのやさしさ 75/100
521xueweihan/HelloGitHub#4105 ·
-
Awaiting further input from submitter
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
-
Regression in 5.9.0: CuratorCache fails with ClassCastException when the client is not a CuratorFrameworkBase対応中かも @sftwnd が今日担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
メンテナーはふだん 1 日以内に返信