local-sort.max-num-file-handles below 2 causes a data-volume-dependent crash on spill
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 2/5
- Tiempo estimado
- 1-3 horas
- Aptitud para principiantes
- 72/100
- Tipo de issue
- Error
- Claridad
- Bastante claro
- Estado de actividad
- Activo
- Stack tecnológico
- java
- Área
- data-engineering
Línea de trabajo
Comienza en AbstractBinaryExternalMerger.mergeChannelList y sigue dónde se lee local-sort.max-num-file-handles y dónde se construye el merger. Reproduce el problema con un valor de 1 y varios archivos spill y, a continuación, verifica que la construcción rechace un fan-in inferior a 2 con una IllegalArgumentException clara antes de que comience la ordenación.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Search before asking
- I searched in the issues and found no similar issues.
Paimon version
master (1.5-SNAPSHOT)
Compute Engine
Any engine doing an external sort that spills (large sort / merge).
Minimal reproduce step
- Set
local-sort.max-num-file-handles = 1. - Run a sort large enough to produce more than one spill file.
What doesn't meet your expectations?
The job crashes with an IllegalArgumentException (a negative subList argument), but only after the second spill file appears. local-sort.max-num-file-handles (the external-merge fan-in, default 128) has no lower-bound validation, so it can be set to 1. With fan-in = 1, AbstractBinaryExternalMerger.mergeChannelList divides by maxFanIn - 1 = 0, yielding Integer.MAX_VALUE merges and a negative subList bound. Because it only triggers on the second spill, it passes small-data testing and then crash-loops in production as data grows (the job restarts on the same config and fails again). It should fail fast at construction with a clear message.
Anything else?
A fan-in of 1 is degenerate for a merge sort (it can never converge N runs), so rejecting it up front is correct.
Are you willing to submit a PR?
- I'm willing to submit a PR!
- Lenguaje dominante
- Java
- Estrellas
- 3.4k
- Forks
- 1.4k
- Merge medio
- 1 d 16 h
- PR fusionados (30 d)
- 435
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Tiene una plantilla de pull request
- Sin guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de apache/paimon
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
apache/paimon#10332 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
[Bug] Hive query on Paimon table fails with 'Proxy user is not supported' when Kerberos proxy user is usedPosiblemente ocupada @sohurdc la tomó hace 59 días. Abiertobug
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
apache/paimon#9006 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
[Bug] FileIndexFormat.Reader leaks input stream when construction fails with a runtime exceptionQuizá libre de nuevo Un pull request para esta issue se cerró sin fusionarse. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 85/100
Los mantenedores suelen responder en 1 día
-
[Bug] Bitmap benchmarks do not close seekable input streamsQuizá libre de nuevo Un pull request para esta issue se cerró sin fusionarse. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
Los mantenedores suelen responder en 1 día
Todos los issues de apache/paimon
Issues similares
-
status: waiting-for-triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 79/100
spring-projects/spring-ai#7206 ·
Los mantenedores suelen responder en 2 días
-
bug ci sev-6
Dificultad 2/5 1-3 horas Aptitud para principiantes 73/100
-
area/cli
Dificultad 2/5 Medio día Aptitud para principiantes 78/100
quarkusio/quarkus#57623 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
jhipster/prettier-java#1113 ·
Los mantenedores suelen responder en 2 días
-
bug follow-up lane:backlog
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
Sanne/incus-spawn#1576 · 1 comentario ·
Los mantenedores suelen responder en 1 día