[server] Oversized lake metadata causes Coordinator disconnections from ZooKeeper and ISR update failures
I maintainer di solito rispondono entro 1 giorno
@hanliu0830 ci sta già lavorando.
Dal 15/9/2026.
Valutazione
Questa issue non è ancora stata valutata.
Descrizione
Search before asking
- I searched in the issues and found nothing similar.
Fluss version
0.9.0 (latest release)
Please describe the bug 🐞
Environment: Paimon lake tiering with deletion vectors (DV) enabled on the affected table; Fluss on Kubernetes; a three-node ZooKeeper 3.8.4 ensemble on VMs. The Coordinator runs on Linux amd64 with Java 17.0.7.
Observed trigger: During production lake tiering, historical lake snapshot metadata kept accumulating under /<cluster>/tabletservers/tables/<table-id>/laketable. The node held 5,091 snapshot entries (1,048,318 bytes). The next complete setData request was 1,048,596 bytes, exceeding the ZooKeeper server's jute.maxbuffer=1048575.
Expected: Lake snapshot commits complete successfully and ISR updates remain stable.
Actual: ZooKeeper repeatedly closed the Coordinator connection. The Coordinator reported SUSPENDED and lost leadership; Tablets reported NOT_COORDINATOR_LEADER_EXCEPTION when updating ISR. All three ZooKeeper servers logged the following error (address redacted):
java.io.IOException: Len error. A message from <coordinator-address> with advertised length of 1048596 is either a malformed message or too large to process (length is greater than jute.maxbuffer=1048575)
After ZooKeeper connectivity recovered, Tablets continued reporting OPERATION_NOT_ATTEMPTED_EXCEPTION during ISR updates. These failures stopped after the Coordinator was restarted.
Solution
We recovered the cluster with the following temporary workaround:
- Set
-Djute.maxbuffer=104857600on all three ZooKeeper servers and restart them one at a time. - Restart the Coordinator, as ISR failures persisted after ZooKeeper connectivity recovered.
- Restart the lake tiering job.
ISR updates and lake snapshot commits resumed. No TabletServer restart was needed. Increasing the buffer limit restored service but did not resolve the metadata accumulation.
Related documentation issues:
- #4336
- #4338
Are you willing to submit a PR?
- I'm willing to submit a PR!
- Lingua principale
- Java
- Stelle
- 2.2k
- Fork
- 656
- Merge medio
- 2g 14h
- PR unite (30g)
- 108
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Ha un modello di pull request
- Nessuna guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di apache/fluss
-
[CI] NettyClientTest.testServerDisconnection may fail with DisconnectExceptionForse già presa @yangshangqing95 l’ha presa 1 giorno fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 86/100
I maintainer di solito rispondono entro 1 giorno
-
[lake/iceberg] Reserved write-mode properties can be set and reset through their `iceberg.` keyForse già presa @aphenix-r7 l’ha presa 3 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
apache/fluss#4658 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
[common] Decimal#hashCode is inconsistent with Decimal#equalsForse già presa @firasbouzazi l’ha presa 15 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
apache/fluss#4538 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
[security] PlainSaslServerProvider conflicts with Hadoop SASL provider causing authentication failureForse già presa @xinzhang-hello l’ha presa 20 giorni fa. Aperta
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 88/100
I maintainer di solito rispondono entro 1 giorno
-
[server] KV snapshot scheduling stops permanently after a transient snapshot-init failureForse già presa @zhang-arvin l’ha presa 20 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
apache/fluss#4489 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di apache/fluss
Issue simili
-
[Bug] Lock owned by another client (e.g. Text app) cannot be unlocked from the appForse già presa @falkloewert l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 74/100
oracle/graalvm-reachability-metadata#11026 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
checkstyle/checkstyle#22050 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
enhancement Improvement
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
zowe/zowe-client-java-sdk#647 ·
-
RRX SAX: </rdf:RDF> inside rdf:parseType="Literal" ends the document ("Inconsistent parserMode:TOP")Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
apache/jena#4334 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno