Row-group copying collides for distinct column paths with the same dot string
Les mainteneurs répondent en général sous 2 jours
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 2/5
- Temps estimé
- 1-3 heures
- Accessibilité débutants
- 74/100
- Type d'issue
- Bug
- Clarté
- Plutôt claire
- Activité
- Active
- Stack technique
- java
- Domaine
- data-engineering
Piste de recherche
Commencez par ParquetFileWriter.appendRowGroup et examinez comment la map des colonnes source est construite et interrogée. Reproduisez le cas avec les deux chemins de colonne distincts qui partagent la même chaîne avec des points, puis exécutez le test générique décrit dans l’issue. C’est terminé lorsque les deux colonnes de type string peuvent être copiées dans le nouveau fichier sans l’erreur de colonne manquante.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
Problem
ParquetFileWriter.appendRowGroup indexes source column chunks by ColumnPath.toDotString(). These distinct component paths therefore collide:
Top-level field named `a.b`: ["a.b"]
Nested field `b` in `a`: ["a", "b"]
The second chunk overwrites the first under the shared "a.b" key.
Reproduction
A generic test writes both string columns and appends the resulting row group into a new file. Current behavior fails with:
IllegalArgumentException: Missing column `a.b`, cannot copy row group
Proposed direction
Key the source-column map by component-based ColumnPath rather than flattened strings. This changes only in-memory lookup identity and does not alter the Parquet format.
- Langage dominant
- Java
- Étoiles
- 3.1k
- Forks
- 1.6k
- Merge moyen
- 4 j 3 h
- PR mergées (30 j)
- 31
Préparer son environnement
Nous n'avons pas encore vérifié les fichiers d'installation de ce projet. Commencez par son README, et consultez notre guide de la première contribution pour les étapes générales.
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de apache/parquet-java
-
Difficulté 2/5 1-3 heures Accessibilité débutants 88/100
apache/parquet-java#3820 ·
Les mainteneurs répondent en général sous 2 jours
-
Make PageReader AutoCloseableOuverte
Difficulté 2/5 1-3 heures Accessibilité débutants 82/100
apache/parquet-java#3767 ·
Les mainteneurs répondent en général sous 2 jours
-
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
apache/parquet-java#3695 · 1 commentaire ·
Les mainteneurs répondent en général sous 2 jours
-
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
apache/parquet-java#3667 ·
Les mainteneurs répondent en général sous 2 jours
-
Type: bug
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
apache/parquet-java#3574 · 1 commentaire ·
Les mainteneurs répondent en général sous 2 jours
Toutes les issues de apache/parquet-java
Issues similaires
-
area/frontend good first issue kind/cooldown
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 84/100
beehive-lab/TornadoVM#1151 ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 88/100
Les mainteneurs répondent en général sous 1 jour
-
(cbor) `maxStringLength` not consistently checked for chunked (indefinite-length) text valuesOuverte
Difficulté 2/5 1-3 heures Accessibilité débutants 77/100
FasterXML/jackson-dataformats-binary#823 ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 1/5 Moins d'une heure Accessibilité débutants 90/100
Les mainteneurs répondent en général sous 1 jour