feat: support row-group statistics pruning and Parquet page index / page skipping in C++ parquet reader
Maintainer antworten meist innerhalb von 1 Tag
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Anfängerfreundlichkeit
- 35/100
Rechercherichtung
The issue names no files or tests; first locate the C++ Parquet reader and its existing file/manifest pruning entry points. Read how retained row groups are scanned, then define completion around consolidated row-group statistics pruning and ColumnIndex/OffsetIndex-based page skipping.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
In iceberg-cpp, Parquet scan currently prunes at file/manifest level; row-group statistics and Parquet page index are not yet used to skip pages inside retained row groups. For large row groups with data sorted by filter column, this leaves significant I/O on the table.
I’d like to propose a phased design:
(1) consolidate row-group stats pruning
(2) add ColumnIndex/OffsetIndex-based page skipping
- Vorherrschende Sprache
- C++
- Sterne
- 223
- Forks
- 127
- Ø Merge
- 1 T. 13 Std.
- Gemergte PRs (30 T.)
- 28
Entwicklungsumgebung
Die Einrichtungsdateien dieses Projekts haben wir noch nicht geprüft. Beginnen Sie mit der README; die allgemeinen Schritte stehen in unserem Leitfaden für den ersten Beitrag.
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus apache/iceberg-cpp
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 88/100
apache/iceberg-cpp#973 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 20/100
apache/iceberg-cpp#959 · 1 Kommentar ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 45/100
apache/iceberg-cpp#955 · 3 Kommentare · 1 Reaktion ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 45/100
apache/iceberg-cpp#944 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 72/100
apache/iceberg-cpp#943 · 1 Kommentar ·
Maintainer antworten meist innerhalb von 1 Tag
Alle Issues in apache/iceberg-cpp
Ähnliche Issues
-
Broken links in the docsOffen
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 85/100
microsoft/onnxruntime#33018 ·
Maintainer antworten meist innerhalb von 2 Tagen
-
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 78/100
Maintainer antworten meist innerhalb von 1 Tag
-
customer-reported needs-triage question
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 76/100
Azure/azure-sdk-for-cpp#7435 ·
Maintainer antworten meist innerhalb von 1 Tag
-
ChromieCraft Generic Confirmed World Event
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 68/100
azerothcore/azerothcore-wotlk#27882 ·
Maintainer antworten meist innerhalb von 1 Tag
-
MacOS build failureOffenbug
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 82/100
aristocratos/btop#1874 ·
Maintainer antworten meist innerhalb von 1 Tag