[FLINK] Legacy group window aggregation ignores the window size, slide and type
Los mantenedores suelen responder en 3 días
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 22/100
- Tipo de issue
- Error
- Claridad
- Bastante claro
- Estado de actividad
- Activo
- Área
- stream-processing
Línea de trabajo
Start with the Gluten copy of StreamExecGroupWindowAggregate, which passes hard-coded size, slide, offset and window type instead of reading the LogicalWindow, and with GroupWindowAggregationNode. The native side is StatefulPlanner::transformGroupWindowAggregationOperator in the velox4j pinned commit, which always builds SessionWindowAssigner(10). Done means the parameters reach both places or the translation fails with a clear not-supported error, and a test checks tumble, hop and session results, not just that the job runs.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
A legacy group window query (GROUP BY TUMBLE(...), HOP(...) or SESSION(...)) is translated by the Gluten copy of StreamExecGroupWindowAggregate, which never reads the LogicalWindow. It passes size, slide and offset 0 and window type 1 to StreamWindowPartitionFunctionSpec, and isEventTime = true and window type 1 to GroupWindowAggregationNode (all marked TODO).
The native side doesn't read them either. In bigo-sg/velox at the commit velox4j pins (5c907ef6), StatefulPlanner::transformGroupWindowAggregationOperator builds the SliceAssigner with size, step and offset 0 and always uses SessionWindowAssigner(10, ...) ("TODO: support window parameters"). So every legacy group window, tumbling or hopping included, becomes a session window with a gap of 10, whatever the query asks for, and the job reports no error. Nexmark q11 (SESSION(dateTime, INTERVAL '10' SECOND)) runs this path in NexmarkTest, but its sink is a blackhole, so the results aren't checked.
Window TVF queries (TUMBLE(TABLE ...)) take a different path that does read the window parameters (WindowUtils.extractWindowParameters).
A complete fix needs the parameters in both places. Until the native operator supports them, failing the translation with a clear "not supported" error, or leaving these queries on Flink's own operator, would avoid wrong results. I'd like to hear which the gluten-flink maintainers prefer before sending a patch.
This issue was written with the assistance of AI (Claude Opus).
- Lenguaje dominante
- Scala
- Estrellas
- 1.6k
- Forks
- 685
- Merge medio
- 4 d 16 h
- PR fusionados (30 d)
- 84
Preparar el entorno
Inicia el contenedor de desarrollo del proyecto en tu navegador, con tu propia cuenta de GitHub.
- Sin Dockerfile ni archivo de Docker Compose
- Tiene una plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de apache/gluten
-
[CORE] Selecting a cost model the backend has no coster for fails with ClassNotFoundExceptionPosiblemente ocupada @LuciferYang la tomó hace 1 día. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 66/100
Los mantenedores suelen responder en 3 días
-
bug unit testing velox backend
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
apache/gluten#13463 · 1 comentario ·
Los mantenedores suelen responder en 3 días
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 82/100
Los mantenedores suelen responder en 3 días
-
[VL] madvise(WILLNEED) call fails in MmapFileStream because of wrong calculation of fetching lengthQuizá libre de nuevo Un pull request para esta issue se cerró sin fusionarse. Abiertobug triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
Los mantenedores suelen responder en 3 días
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Los mantenedores suelen responder en 3 días
Todos los issues de apache/gluten
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
rchillyard/TableParser#206 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
Los mantenedores suelen responder en 2 días
-
? - Needs Triage bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 66/100
NVIDIA/cudf-spark#17063 ·
Los mantenedores suelen responder en 2 días
-
bug 🐞 User issue 🚨
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
valkey-io/valkey-glide#7813 · 2 comentarios ·
Los mantenedores suelen responder en 1 día