Row-group copying collides for distinct column paths with the same dot string
Los mantenedores suelen responder en 2 días
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 2/5
- Tiempo estimado
- 1-3 horas
- Aptitud para principiantes
- 74/100
- Tipo de issue
- Error
- Claridad
- Bastante claro
- Estado de actividad
- Activo
- Stack tecnológico
- java
- Área
- data-engineering
Línea de trabajo
Empieza en ParquetFileWriter.appendRowGroup e inspecciona cómo se construye y consulta el mapa de columnas de origen. Reproduce el caso con las dos rutas de columna distintas que comparten la misma cadena con puntos y, después, ejecuta la prueba genérica descrita en el issue. Se considera terminado cuando ambas columnas de tipo string se puedan copiar en el archivo nuevo sin el error de columna ausente.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Problem
ParquetFileWriter.appendRowGroup indexes source column chunks by ColumnPath.toDotString(). These distinct component paths therefore collide:
Top-level field named `a.b`: ["a.b"]
Nested field `b` in `a`: ["a", "b"]
The second chunk overwrites the first under the shared "a.b" key.
Reproduction
A generic test writes both string columns and appends the resulting row group into a new file. Current behavior fails with:
IllegalArgumentException: Missing column `a.b`, cannot copy row group
Proposed direction
Key the source-column map by component-based ColumnPath rather than flattened strings. This changes only in-memory lookup identity and does not alter the Parquet format.
- Lenguaje dominante
- Java
- Estrellas
- 3.1k
- Forks
- 1.6k
- Merge medio
- 4 d 9 h
- PR fusionados (30 d)
- 32
Preparar el entorno
Aún no hemos revisado los archivos de configuración de este proyecto. Empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de apache/parquet-java
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
apache/parquet-java#3820 ·
Los mantenedores suelen responder en 2 días
-
Type: bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
apache/parquet-java#3792 · 1 comentario ·
Los mantenedores suelen responder en 2 días
-
Make PageReader AutoCloseableAbierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
apache/parquet-java#3767 ·
Los mantenedores suelen responder en 2 días
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
apache/parquet-java#3695 · 1 comentario ·
Los mantenedores suelen responder en 2 días
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
apache/parquet-java#3667 ·
Los mantenedores suelen responder en 2 días
Todos los issues de apache/parquet-java
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
Los mantenedores suelen responder en 1 día
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 88/100
apache/arrow-java#1311 ·
Los mantenedores suelen responder en 2 días
-
bug triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 85/100
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
Los mantenedores suelen responder en 1 día
-
security
Dificultad 2/5 1-3 horas Aptitud para principiantes 65/100
IBM/networking-java-sdk#204 ·