InternalParquetRecordWriter flushRowGroupToStore not actually writing to file
Les mainteneurs répondent en général sous 4 jours
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 3/5
- Temps estimé
- 1-2 jours
- Accessibilité débutants
- 45/100
Piste de recherche
Commencez par lire InternalParquetRecordWriter, en particulier flushRowGroupToStore et close, puis suivez la manière dont parquetFileWriter.end écrit les données mises en mémoire tampon. Confirmez la limite de flush attendue et ajoutez ou mettez à jour la couverture du contenu du fichier après flushRowGroupToStore ; le travail est terminé lorsque le fichier contient le row group flushé avant l’appel de close.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
Describe the bug, including details regarding any error messages, version, and platform.
Description:
The flushRowGroupToStore method in InternalParquetRecordWriter purports to "Flush mem columnStore to file," but no data is actually written to the file system until the close method is invoked. This behavior is unexpected, as one would anticipate data being flushed.
Expected Result:
Data should be written to the file when flushRowGroupToStore is invoked, effectively flushing the in-memory column store contents to the file.
Actual Result:
File contents remain empty until the close method is called, where parquetFileWriter.end is invoked to write the data.
Version : parquet-hadoop 1.13.1
Component(s)
No response
- Langage dominant
- Java
- Étoiles
- 3.1k
- Forks
- 1.6k
- Merge moyen
- 5 j 13 h
- PR mergées (30 j)
- 31
Préparer son environnement
- Aucun Dockerfile ni fichier Docker Compose
- Propose un modèle de pull request
- Aucun guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de apache/parquet-java
-
Row-group copying collides for distinct column paths with the same dot stringPeut-être pris @costas-db l’a pris il y a 19 jours. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 74/100
apache/parquet-java#3829 ·
Les mainteneurs répondent en général sous 4 jours
-
Binary statistics truncation test ignores its configured truncation lengthPeut-être pris @dhruv-15-03 l’a pris il y a 21 jours. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 88/100
apache/parquet-java#3820 ·
Les mainteneurs répondent en général sous 4 jours
-
Make PageReader AutoCloseableOuverte
Difficulté 2/5 1-3 heures Accessibilité débutants 82/100
apache/parquet-java#3767 ·
Les mainteneurs répondent en général sous 4 jours
-
Remove duplicate LICENSE and NOTICE files from benchmark JARsPeut-être pris @efegokdemir l’a pris il y a 24 jours. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
apache/parquet-java#3695 · 1 commentaire ·
Les mainteneurs répondent en général sous 4 jours
-
null_count is omitted for large columns in parquet filesPeut-être pris @efegokdemir l’a pris il y a 22 jours. OuverteType: bug
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
apache/parquet-java#3574 · 1 commentaire ·
Les mainteneurs répondent en général sous 4 jours
Toutes les issues de apache/parquet-java
Issues similaires
-
False Negative: InnerTypeLastCheck does not report members declared after inner enums or annotationsOuverte
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
checkstyle/checkstyle#22027 ·
Les mainteneurs répondent en général sous 1 jour
-
bug follow-up lane:auto
Difficulté 2/5 1-3 heures Accessibilité débutants 85/100
Sanne/incus-spawn#1497 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 85/100
Les mainteneurs répondent en général sous 1 jour
-
[CI] NettyClientTest.testServerDisconnection may fail with DisconnectExceptionPeut-être pris @yangshangqing95 l’a pris aujourd’hui. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 86/100
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100