feat: support row-group statistics pruning and Parquet page index / page skipping in C++ parquet reader
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 35/100
Direzione di ricerca
The issue names no files or tests; first locate the C++ Parquet reader and its existing file/manifest pruning entry points. Read how retained row groups are scanned, then define completion around consolidated row-group statistics pruning and ColumnIndex/OffsetIndex-based page skipping.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
In iceberg-cpp, Parquet scan currently prunes at file/manifest level; row-group statistics and Parquet page index are not yet used to skip pages inside retained row groups. For large row groups with data sorted by filter column, this leaves significant I/O on the table.
I’d like to propose a phased design:
(1) consolidate row-group stats pruning
(2) add ColumnIndex/OffsetIndex-based page skipping
- Lingua principale
- C++
- Stelle
- 226
- Fork
- 132
- Merge medio
- 1g 11h
- PR unite (30g)
- 27
Preparare l'ambiente
Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di apache/iceberg-cpp
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
apache/iceberg-cpp#978 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
apache/iceberg-cpp#977 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
apache/iceberg-cpp#973 ·
I maintainer di solito rispondono entro 1 giorno
-
bug: expression JSON deserialization throws an uncaught exception on a non-string "type"/"term"Aperta
Difficoltà 3/5 1-2 giorni Idoneità per principianti 75/100
apache/iceberg-cpp#979 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 20/100
apache/iceberg-cpp#959 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di apache/iceberg-cpp
Issue simili
-
upstream update
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
conan-io/conan-center-index#31098 ·
I maintainer di solito rispondono entro 2 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
I maintainer di solito rispondono entro 2 giorni
-
bug chart-audit
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 92/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100
godotengine/godot#124120 ·
I maintainer di solito rispondono entro 1 giorno
-
Component: R Type: bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
apache/arrow#51695 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno