Replace manual `RowSelection` bitmap conversion with `force_mask()` after arrow-rs release
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 2/5
- Tempo stimato
- 1-3 ore
- Idoneità per principianti
- 76/100
- Tipo di issue
- Refactoring
- Chiarezza
- Specificata chiaramente
- Stato di attività
- Attiva
- Stack tecnologico
- rust
- Ambito
- data-engineering
Direzione di ricerca
Dopo che la dipendenza parquet include RowSelection::force_mask(), inizia da datafusion/datasource-parquet/src/access_plan.rs e individua la conversione manuale da selector a bitmap in ParquetAccessPlan::scan_and_select. Sostituisci quella conversione con l’API upstream, rimuovi gli import diventati inutilizzati ed esegui i test esistenti sull’intersezione delle selezioni di righe per confermare che il supporto bitmap e le righe selezionate siano preservati.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Is your feature request related to a problem or challenge?
PR #25731 preserves bitmap-backed Parquet row selections. When intersecting an existing bitmap-backed selection with a selector-backed selection, ParquetAccessPlan::scan_and_select currently builds a bitmap manually using BooleanBufferBuilder.
The upstream API proposed in apache/arrow-rs#11337, RowSelection::force_mask(), encapsulates this conversion. This issue tracks adopting it once DataFusion depends on a released parquet version that includes the API.
Describe the solution you'd like
After upgrading to a parquet version that provides RowSelection::force_mask():
- Replace the manual selector-to-bitmap conversion in
datafusion/datasource-parquet/src/access_plan.rswithselection.force_mask(). - Remove any imports made unused by the change.
- Verify that the existing row-selection intersection tests continue to pass, preserving bitmap backing and selected rows.
Describe alternatives you've considered
Keep the current manual conversion. It preserves the required behavior, but duplicates functionality provided by parquet once the new API is available.
Additional context
- Follow-up to the review discussion in #25731.
- Upstream API: apache/arrow-rs#11337.
- Lingua principale
- Rust
- Stelle
- 9.4k
- Fork
- 2.5k
- Merge medio
- 3g 18h
- PR unite (30g)
- 381
Preparare l'ambiente
Avvia il container di sviluppo del progetto nel browser, con il tuo account GitHub.
- Nessun Dockerfile né file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di apache/datafusion
-
Lambda examples in the SQL function docs fail with the default dialectForse già presa Una pull request collegata a questa issue è aperta o già unita. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100
apache/datafusion#25960 ·
I maintainer di solito rispondono entro 1 giorno
-
Spark `xxhash64` hashes the raw bits of a NaN instead of the canonical NaNForse già presa @mrhard9090 l’ha presa 3 giorni fa. Apertabug
Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100
apache/datafusion#25913 ·
I maintainer di solito rispondono entro 1 giorno
-
trunc(x) on a column turns -0.0 into 0.0Forse già presa @1fanwang l’ha presa 10 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
apache/datafusion#25702 · 1 commento · 1 assegnatario ·
I maintainer di solito rispondono entro 1 giorno
-
`percentile_cont` truncates Float64 interpolation weights to six decimal placesForse già presa @aoto-tech l’ha presa 22 giorni fa. Apertabug
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
apache/datafusion#25266 · 2 commenti ·
I maintainer di solito rispondono entro 1 giorno
-
CSV null_regex is applied to schema inference but never to the reader, so matching values are not nullForse già presa @Developer1010x l’ha presa 22 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100
apache/datafusion#25213 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di apache/datafusion
Issue simili
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 74/100
-
review-drift
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
oxidecomputer/hansei#14 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
rubys/roundhouse#444 ·
I maintainer di solito rispondono entro 1 giorno
-
Published hardy-bpa-server image is built without the file-cla featureForse già presa @EmbryoSpace l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100
ricktaylor/hardy#755 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100
semaphoreci/docker-images#46 · 1 commento ·