feat: support row-group statistics pruning and Parquet page index / page skipping in C++ parquet reader
Les mainteneurs répondent en général sous 1 jour
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 5/5
- Temps estimé
- Plus d'une semaine
- Accessibilité débutants
- 35/100
Piste de recherche
The issue names no files or tests; first locate the C++ Parquet reader and its existing file/manifest pruning entry points. Read how retained row groups are scanned, then define completion around consolidated row-group statistics pruning and ColumnIndex/OffsetIndex-based page skipping.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
In iceberg-cpp, Parquet scan currently prunes at file/manifest level; row-group statistics and Parquet page index are not yet used to skip pages inside retained row groups. For large row groups with data sorted by filter column, this leaves significant I/O on the table.
I’d like to propose a phased design:
(1) consolidate row-group stats pruning
(2) add ColumnIndex/OffsetIndex-based page skipping
- Langage dominant
- C++
- Étoiles
- 223
- Forks
- 127
- Merge moyen
- 1 j 13 h
- PR mergées (30 j)
- 28
Préparer son environnement
Nous n'avons pas encore vérifié les fichiers d'installation de ce projet. Commencez par son README, et consultez notre guide de la première contribution pour les étapes générales.
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de apache/iceberg-cpp
-
Difficulté 2/5 1-3 heures Accessibilité débutants 88/100
apache/iceberg-cpp#973 ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 20/100
apache/iceberg-cpp#959 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
-
Release Apache Iceberg C++ 0.4.0Ouverte
Difficulté 4/5 3-5 jours Accessibilité débutants 45/100
apache/iceberg-cpp#955 · 3 commentaires · 1 réaction ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 4/5 3-5 jours Accessibilité débutants 45/100
apache/iceberg-cpp#944 ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 3/5 1-2 jours Accessibilité débutants 72/100
apache/iceberg-cpp#943 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
Toutes les issues de apache/iceberg-cpp
Issues similaires
-
Difficulté 1/5 Moins d'une heure Accessibilité débutants 92/100
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
cp-algorithms/cp-algorithms#1715 ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
Icinga/icinga2#11058 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
-
status:needs-triage
Difficulté 2/5 1-3 heures Accessibilité débutants 88/100
PX4/PX4-Autopilot#28924 ·
Les mainteneurs répondent en général sous 1 jour
-
component: split-view platform: windows
Difficulté 2/5 1-3 heures Accessibilité débutants 74/100
zen-browser/desktop#15616 · 1 réaction ·
Les mainteneurs répondent en général sous 1 jour