[Bug] KV recovery fails after all TabletServer local data is lost
Los mantenedores suelen responder en 2 días
Evaluación
Este issue todavía no se ha evaluado.
Descripción
Search before asking
- I searched in the issues and found nothing similar.
Fluss version
1.0.0 (latest release)
Please describe the bug 🐞
Description
KV tables may fail to recover after all TabletServer local data is lost, even when ZooKeeper metadata, completed KV snapshots, and the required remote WAL are still available.
An empty local log is initialized at offset 0. However, KV recovery may start from a snapshot at a higher offset. Without restoring the local log boundary from remote durable state, recovery can attempt to read an unavailable local offset and fail.
Failed recovery attempts may also leave an initialized KV tablet registered. Subsequent retries can then fail with a Duplicate kv tablet directories error, obscuring the original failure.
Steps to reproduce
- Create a primary-key table with multiple replicas and write some records.
- Complete a KV snapshot and upload subsequent WAL segments to remote storage.
- Write additional records that remain outside both the snapshot and the uploaded WAL.
- Stop the cluster and remove all TabletServer local data, including KV files, WAL, checkpoints, and clean-shutdown markers. Preserve ZooKeeper and remote storage.
- Restart the cluster and access the table.
Actual behavior
KV recovery fails because the snapshot recovery offset is inconsistent with the empty local log. Recovery retries may additionally fail because partially initialized KV state was not cleaned up.
Expected behavior
When the snapshot and required remote WAL are available, the table should recover to a consistent durable boundary and support subsequent reads, writes, replication, snapshots, and log tiering.
Writes beyond that boundary may be lost, including previously acknowledged writes that existed only on the lost local replicas.
Missing or truncated WAL required for recovery should cause an explicit failure rather than silently produce incomplete KV state.
Solution
No response
Are you willing to submit a PR?
- I'm willing to submit a PR!
- Lenguaje dominante
- Java
- Estrellas
- 2.2k
- Forks
- 658
- Merge medio
- 3 d 4 h
- PR fusionados (30 d)
- 106
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Tiene una plantilla de pull request
- Sin guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de apache/fluss
-
[lake/iceberg] Reserved write-mode properties can be set and reset through their `iceberg.` keyPosiblemente ocupada @aphenix-r7 la tomó hace 11 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
apache/fluss#4658 · 1 comentario ·
Los mantenedores suelen responder en 2 días
-
[common] Decimal#hashCode is inconsistent with Decimal#equalsPosiblemente ocupada @firasbouzazi la tomó hace 22 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
apache/fluss#4538 · 1 comentario ·
Los mantenedores suelen responder en 2 días
-
[security] PlainSaslServerProvider conflicts with Hadoop SASL provider causing authentication failurePosiblemente ocupada @xinzhang-hello la tomó hace 28 días. Abierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 88/100
Los mantenedores suelen responder en 2 días
-
[server] KV snapshot scheduling stops permanently after a transient snapshot-init failurePosiblemente ocupada @zhang-arvin la tomó hace 28 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
apache/fluss#4489 · 1 comentario ·
Los mantenedores suelen responder en 2 días
-
[docs] Document advertised-resource and ACL principal ignore-case optionsPosiblemente ocupada @EchoLee5 la tomó hace 40 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
Los mantenedores suelen responder en 2 días
Todos los issues de apache/fluss
Issues similares
-
[BUG] jackson3 JacksonJsonpMapper(ObjectMapper) fails to deserialize `_source` with "Trailing token" errorPosiblemente ocupada @junyeokk la tomó hoy. Abiertobug untriaged
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
opensearch-project/opensearch-java#2236 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 67/100
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 62/100
open-learning-exchange/myplanet#18392 ·
Los mantenedores suelen responder en 2 días
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
linagora/twake-calendar-side-service#1218 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
[Bug] [Go] Ack returns nil when the server answers with a non-OK statusPosiblemente ocupada @leizhiyuan la tomó hoy. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
apache/rocketmq-clients#1465 ·
Los mantenedores suelen responder en 2 días