Parquet protobuf decoder panics on an out-of-bounds projection index
Los mantenedores suelen responder en 1 día
Evaluación
- Dificultad
- 3/5
- Tiempo estimado
- 1-2 días
- Aptitud para principiantes
- 58/100
Línea de trabajo
Start in datafusion/datasource-parquet/src/source.rs at ParquetSource::try_from_proto, especially the projection lookup around the linked upstream revision. Trace how an invalid projection index can be turned into an error before schema.field panics, and check the datasource decoder’s existing tests. Done means decoding the supplied eight-byte plan returns an error; the issue notes that direct constructor callers should also be covered.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Describe the bug
ParquetSource::try_from_proto uses each legacy projection index with schema.field(i as usize) while it builds the predicate schema. An index outside the schema panics before the constructor can return an error. A predicate is not required.
Reproduce
The serialized PhysicalPlanNode is eight bytes:
hex: 0a060a041200200a
base64: CgYKBBIAIAo=
It describes a Parquet scan with an empty schema and projection [10]. Decoding it with DataFusion 55.1.0 panics in Arrow with index out of bounds: the len is 0 but the index is 10.
A downstream worker regression reproduces that panic against the original decoder and passes with a bounds check: https://github.com/telekom/sutura/actions/runs/43001290751/job/130459222254
The unchanged input and downstream fix are in https://github.com/telekom/sutura/pull/1878. The original release-fuzz failure is https://github.com/telekom/sutura/actions/runs/42981741003/job/130393510786.
Expected behavior
Return an error for an invalid projection index. A decoder returning Result should not panic on this input.
Additional context
Upstream main still contains the unchecked lookup at this exact revision. This is a source inspection; I have not run the input against upstream main.
The downstream check is at the existing datafusion-proto boundary. It does not fix direct calls to the datasource constructor or other malformed plan fields. An upstream check in the datasource decoder would cover its direct callers too.
AI assistance was used to investigate and draft this report.
- Lenguaje dominante
- Rust
- Estrellas
- 9.6k
- Forks
- 2.6k
- Merge medio
- 3 d 4 h
- PR fusionados (30 d)
- 345
Preparar el entorno
Inicia el contenedor de desarrollo del proyecto en tu navegador, con tu propia cuenta de GitHub.
- Sin Dockerfile ni archivo de Docker Compose
- Tiene una plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de apache/datafusion
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
apache/datafusion#27315 · 2 comentarios ·
Los mantenedores suelen responder en 1 día
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
apache/datafusion#27094 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Substrait consumer doesn't recognise `shift_left` / `shift_right` from functions_arithmetic.yamlPosiblemente ocupada @jonasHanhan la tomó hace 9 días. Abiertobug
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
apache/datafusion#27059 ·
Los mantenedores suelen responder en 1 día
-
`ProjectionExprs::project_statistics` computes approximate `Statistics::total_byte_size` ignoring column statsPosiblemente ocupada @joseph-isaacs la tomó hace 10 días. Abiertobug
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
apache/datafusion#27050 ·
Los mantenedores suelen responder en 1 día
-
physical-plan: decoding an Unnest or Explain node with an unset field panicsPosiblemente ocupada @geoHeil la tomó hace 8 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
apache/datafusion#26999 · 1 comentario ·
Los mantenedores suelen responder en 1 día
Todos los issues de apache/datafusion
Issues similares
-
area:schema documentation
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
ElectronicWave/Elemental#252 ·
Los mantenedores suelen responder en 1 día
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
dekobon/big-code-analysis#1887 ·
Los mantenedores suelen responder en 1 día
-
Shell中文符号输入异常Abiertobug
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
Los mantenedores suelen responder en 1 día
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 82/100
Los mantenedores suelen responder en 1 día