[lake/tiering] Continue claiming tables while readers remain idle
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 64/100
- Tipo de issue
- Error
- Claridad
- Bastante claro
- Estado de actividad
- Activo
- Stack tecnológico
- java
Línea de trabajo
Start at TieringSourceEnumerator.generateAndAssignSplits() and trace how split assignment, pending splits, reader availability, table claims, backoff, and concurrency limits interact. Reproduce the described A/B scenario, then add coverage showing B is claimed while readers remain idle, without completing A or advancing the periodic timer; verify empty responses and failures retain their backoff behavior.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Motivation
After generating splits for a non-empty table, TieringSourceEnumerator.generateAndAssignSplits() assigns them and returns. If all pending splits were assigned but some readers are still waiting, it does not immediately claim another table.
Example: eight readers have already requested work and are waiting. A periodic poll claims table A with two splits, while table B is also available. After assigning A, six readers remain idle until another event or periodic poll triggers a claim. The default polling interval is 30 seconds; an earlier split completion can shorten this wait.
This is a scheduling gap identified by code inspection, separate from continuation after an empty table.
Solution
After assignment, asynchronously continue claiming tables while readers remain available and the pending split queue is empty. Stop when no table is available or the concurrency limit is reached. Coalesce claim requests and retain backoff for empty responses and failures.
Add a test for the example above: B should be assigned without completing A's splits or advancing the periodic timer. Do not buffer extra splits on busy readers.
Anything else?
Related: #4372 addresses empty tables. This case concerns non-empty tables whose splits do not fill the waiting readers.
Willingness to contribute
- I'm willing to submit a PR!
- Lenguaje dominante
- Java
- Estrellas
- 2.2k
- Forks
- 656
- Merge medio
- 1 d 21 h
- PR fusionados (30 d)
- 127
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Tiene una plantilla de pull request
- Sin guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de apache/fluss
-
[lake/iceberg] Reserved write-mode properties can be set and reset through their `iceberg.` keyPosiblemente ocupada @aphenix-r7 la tomó hace 1 día. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
apache/fluss#4658 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
[common] Decimal#hashCode is inconsistent with Decimal#equalsPosiblemente ocupada @firasbouzazi la tomó hace 13 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
apache/fluss#4538 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
[security] PlainSaslServerProvider conflicts with Hadoop SASL provider causing authentication failurePosiblemente ocupada @xinzhang-hello la tomó hace 19 días. Abierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 88/100
Los mantenedores suelen responder en 1 día
-
[server] KV snapshot scheduling stops permanently after a transient snapshot-init failurePosiblemente ocupada @zhang-arvin la tomó hace 18 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
apache/fluss#4489 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
[docs] Document advertised-resource and ACL principal ignore-case optionsPosiblemente ocupada @EchoLee5 la tomó hace 31 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
Los mantenedores suelen responder en 1 día
Todos los issues de apache/fluss
Issues similares
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
scylladb/scylla-cdc-source-connector#350 ·
Los mantenedores suelen responder en 1 día
-
agent:working documentation enhancement go:build lane:needs-decision
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
Sanne/incus-spawn#1435 · 3 comentarios ·
Los mantenedores suelen responder en 1 día
-
area:shuffle bug priority:high requires-triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
apache/datafusion-comet#7062 ·
Los mantenedores suelen responder en 1 día
-
wait for review
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
Los mantenedores suelen responder en 1 día
-
enhancement good first issue up-for-grabs
Dificultad 2/5 1-3 horas Aptitud para principiantes 80/100
AnikethTS/ChangeRadar#22 ·
Los mantenedores suelen responder en 1 día