[server] Oversized lake metadata causes Coordinator disconnections from ZooKeeper and ISR update failures
メンテナーはふだん 2 日以内に返信
@hanliu0830 がすでに取り組んでいます。
2026年9月15日 から。
評価
この issue はまだ評価されていません。
説明
Search before asking
- I searched in the issues and found nothing similar.
Fluss version
0.9.0 (latest release)
Please describe the bug 🐞
Environment: Paimon lake tiering with deletion vectors (DV) enabled on the affected table; Fluss on Kubernetes; a three-node ZooKeeper 3.8.4 ensemble on VMs. The Coordinator runs on Linux amd64 with Java 17.0.7.
Observed trigger: During production lake tiering, historical lake snapshot metadata kept accumulating under /<cluster>/tabletservers/tables/<table-id>/laketable. The node held 5,091 snapshot entries (1,048,318 bytes). The next complete setData request was 1,048,596 bytes, exceeding the ZooKeeper server's jute.maxbuffer=1048575.
Expected: Lake snapshot commits complete successfully and ISR updates remain stable.
Actual: ZooKeeper repeatedly closed the Coordinator connection. The Coordinator reported SUSPENDED and lost leadership; Tablets reported NOT_COORDINATOR_LEADER_EXCEPTION when updating ISR. All three ZooKeeper servers logged the following error (address redacted):
java.io.IOException: Len error. A message from <coordinator-address> with advertised length of 1048596 is either a malformed message or too large to process (length is greater than jute.maxbuffer=1048575)
After ZooKeeper connectivity recovered, Tablets continued reporting OPERATION_NOT_ATTEMPTED_EXCEPTION during ISR updates. These failures stopped after the Coordinator was restarted.
Solution
We recovered the cluster with the following temporary workaround:
- Set
-Djute.maxbuffer=104857600on all three ZooKeeper servers and restart them one at a time. - Restart the Coordinator, as ISR failures persisted after ZooKeeper connectivity recovered.
- Restart the lake tiering job.
ISR updates and lake snapshot commits resumed. No TabletServer restart was needed. Increasing the buffer limit restored service but did not resolve the metadata accumulation.
Related documentation issues:
- #4336
- #4338
Are you willing to submit a PR?
- I'm willing to submit a PR!
- 主要言語
- Java
- スター
- 2.2k
- フォーク
- 658
- 平均マージ
- 3日 4時間
- マージ済み PR（30日）
- 106
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートあり
- コントリビューションガイドなし
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
apache/fluss のほかの issue
-
[lake/iceberg] Reserved write-mode properties can be set and reset through their `iceberg.` key対応中かも @aphenix-r7 が 10 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
apache/fluss#4658 · コメント 1 件 ·
メンテナーはふだん 2 日以内に返信
-
[common] Decimal#hashCode is inconsistent with Decimal#equals対応中かも @firasbouzazi が 22 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
apache/fluss#4538 · コメント 1 件 ·
メンテナーはふだん 2 日以内に返信
-
[security] PlainSaslServerProvider conflicts with Hadoop SASL provider causing authentication failure対応中かも @xinzhang-hello が 27 日前に担当しました。 オープン
難易度 1/5 1時間未満 初心者へのやさしさ 88/100
メンテナーはふだん 2 日以内に返信
-
[server] KV snapshot scheduling stops permanently after a transient snapshot-init failure対応中かも @zhang-arvin が 27 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 88/100
apache/fluss#4489 · コメント 1 件 ·
メンテナーはふだん 2 日以内に返信
-
[docs] Document advertised-resource and ACL principal ignore-case options対応中かも @EchoLee5 が 40 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
メンテナーはふだん 2 日以内に返信
似ている issue
-
staticAssetsPath follows symlinks outside the directory on Windows対応中かも @ybelMekk が今日担当しました。 オープンbug security findings
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
navikt/mock-oauth2-server#1132 ·
メンテナーはふだん 1 日以内に返信
-
agent:working follow-up
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
Sanne/incus-spawn#1683 · コメント 2 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
checkstyle/checkstyle#22210 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 67/100
google/error-prone#6239 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
[Failing Test]: BigqueryClient.queryUnflattened fails BigQuery ITs on a transient 503対応中かも @mxtymoshyk が今日担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 77/100
メンテナーはふだん 1 日以内に返信