Parquet writer ignores per-column `write.parquet.bloom-filter-*` table properties
I maintainer di solito rispondono entro 3 giorni
Nessuno ha ancora preso questa issue.
- #3148 di @alessandro-nori — chiusa senza merge
Valutazione
- Difficoltà
- 3/5
- Tempo stimato
- 1-2 giorni
- Idoneità per principianti
- 78/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Specificata chiaramente
- Stato di attività
- Attiva
- Stack tecnologico
- rust
- Ambito
- data-engineering
Direzione di ricerca
Inizia da crates/iceberg/src/writer/file_writer/parquet_writer.rs:90-113 e crates/iceberg/src/spec/table_properties.rs, quindi confronta il comportamento di riferimento in TableProperties.java:184-199 e parquet/src/main/java/org/apache/iceberg/parquet/Parquet.java:652-668. Il lavoro è completo quando le tre proprietà del filtro Bloom per colonna sono definite e mappate a parquet-rs WriterProperties.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Is your feature request related to a problem or challenge?
ParquetWriterBuilder::from_table_properties translates write.parquet.* settings into parquet-rs WriterProperties (crates/iceberg/src/writer/file_writer/parquet_writer.rs:90-113): CDC, compression codec/level, row-group bytes, page size, page row limit, dict page size.
The bloom-filter properties are not among them, and crates/iceberg/src/spec/table_properties.rs defines no constants for them. A table that requests bloom filters gets files written without any. Reference behaviour is in TableProperties.java:184-199, consumed at parquet/src/main/java/org/apache/iceberg/parquet/Parquet.java:652-668.
Describe the solution you'd like
the three per-column properties (write.parquet.bloom-filter-enabled.column.<col>, write.parquet.bloom-filter-fpp.column.<col> and write.parquet.bloom-filter-ndv.column.<col>) map directly onto parquet-rs.
Willingness to contribute
I would be willing to contribute to this feature with guidance from the Iceberg Rust community
- Lingua principale
- Rust
- Stelle
- 1.4k
- Fork
- 612
- Merge medio
- 4g 35m
- PR unite (30g)
- 71
Preparare l'ambiente
Avvia il container di sviluppo del progetto nel browser, con il tuo account GitHub.
- Nessun Dockerfile né file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di apache/iceberg-rust
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
apache/iceberg-rust#3551 ·
I maintainer di solito rispondono entro 3 giorni
-
REST create_table omits partition spec-id; Java-based servers (Polaris) reject itForse già presa @ninglinLiu l’ha presa 2 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 66/100
apache/iceberg-rust#3469 · 1 commento ·
I maintainer di solito rispondono entro 3 giorni
-
V1 manifest lists written by Java lose added/existing/deleted file countsForse già presa @kacper-li-airspace-intelligence l’ha presa 13 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
apache/iceberg-rust#3445 ·
I maintainer di solito rispondono entro 3 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
apache/iceberg-rust#3359 ·
I maintainer di solito rispondono entro 3 giorni
-
Row filter keeps every row for `<` and `<=` on a null column that is missing from the data fileForse già presa @mattfaltyn l’ha presa 5 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
apache/iceberg-rust#3355 · 1 reazione ·
I maintainer di solito rispondono entro 3 giorni
Tutte le issue di apache/iceberg-rust
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
plrigaux/sysd-manager#85 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
dsx-ai-factory/infra-controller#8341 ·
I maintainer di solito rispondono entro 1 giorno
-
enhancement triage:deciding
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
open-telemetry/otel-arrow#4540 ·
I maintainer di solito rispondono entro 2 giorni
-
benchmark: CSV report files contain blank records on WindowsForse già presa Una pull request collegata a questa issue è aperta o già unita. Apertacomponent:benchmark
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
agentic-os-org/ANOLISA#9177 ·
I maintainer di solito rispondono entro 1 giorno
-
area/mcp area/modeling effort/s impact/few priority/p3 severity/low triaged type/bug urgency/this-quarter
Difficoltà 2/5 1-3 ore Idoneità per principianti 74/100
cristim/AztecCraft#336 ·
I maintainer di solito rispondono entro 1 giorno