Parquet reader does not support unknown physical/logical type combinations per GH-607
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 48/100
- Tipo de issue
- Error
- Claridad
- Bastante claro
- Estado de actividad
- Activo
- Stack tecnológico
- rust
- Área
- data-engineering
Línea de trabajo
Comienza reproduciendo el fallo del lector de Parquet con parquet-testing/data/int32_with_uuid_logical_type.parquet y rastreando cómo se manejan las combinaciones de tipos físico y lógico no compatibles. Se considera terminado cuando el archivo se lee con su tipo físico sin anotación y se ignoran las estadísticas; el comportamiento de round-trip y si se debe advertir o restringir este comportamiento aún requieren una decisión del proyecto.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Describe the bug
parquet-format GH-607 adds clarification that in addition to unknown logical type enum variants, implementations must also handle unknown combinations of physical type and logical type (e.g. an INT32 column annotated with UUID). This crate currently checks for unsupported combinations and errors when encountering them.
To Reproduce
Try reading the file added in https://github.com/apache/parquet-testing/pull/122 (parquet-testing/data/int32_with_uuid_logical_type.parquet).
Expected behavior
Unknown combinations should now be treated as having an unknown logical type i.e. on read they should be provided to users as the physical type with no type annotation, and statistics should be ignored. It's not clear (to me) what should be done on round trip.
It might be good to also log a warning when an unknown type is encountered to let users know of the degraded experience.
Additional context
We could continue to error on unknown combination, or add a gate to control behavior upon encountering unknown types.
- Lenguaje dominante
- Rust
- Estrellas
- 3.6k
- Forks
- 1.3k
- Merge medio
- 3 d 10 h
- PR fusionados (30 d)
- 146
Preparar el entorno
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de apache/arrow-rs
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
apache/arrow-rs#11225 · 1 comentario · 1 reacción ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 65/100
Los mantenedores suelen responder en 1 día
-
parquet-variant-compute: shred_variant panics on an object with duplicate field namesPosiblemente ocupada @Abhisheklearn12 la tomó hace 13 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
Los mantenedores suelen responder en 1 día
-
development-process enhancement
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
Los mantenedores suelen responder en 1 día
Todos los issues de apache/arrow-rs
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
aws-samples/sample-pacer#76 ·
Los mantenedores suelen responder en 1 día
-
mime-type element is mandatoryAbierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 86/100
axodotdev/cargo-dist#2523 ·
Los mantenedores suelen responder en 2 días