Make write.parquet.page-size-bytes and write.parquet.dict-size-bytes taking effect
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 3/5
- Tempo stimato
- 1-2 giorni
- Idoneità per principianti
- 72/100
- Tipo di issue
- Bug
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Attiva
- Stack tecnologico
- cpp
- Ambito
- data-engineering
Direzione di ricerca
Start at src/iceberg/parquet/parquet_writer.cc, especially ParquetWriter::Impl::Open, and read the declarations and defaults in src/iceberg/table_properties.h. Trace WriterProperties::FromMap and the Arrow writer-property construction, then locate existing writer-property tests. Done means defaults and overrides reach the underlying writer, invalid or non-positive values are rejected before file creation, and custom settings have write/read coverage.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
The C++ Parquet writer does not apply write.parquet.page-size-bytes or write.parquet.dict-size-bytes. Both properties are already declared in TableProperties, but passing them through WriterProperties::FromMap has no effect on the underlying Parquet writer configuration.
On the current main, the ParquetWriter::Impl::Open has already configured the compression, compression level, and the row-count limit, however it builds Arrow's writer properties without setting the page or dictionary size. This prevents callers from using the standard Iceberg properties to tune these sizes.
For instance, providing the following properties should configure a 64 KiB data-page target and a 256 KiB dictionary-page limit on output parquet writer:
write.parquet.page-size-bytes=65536
write.parquet.dict-size-bytes=262144
Proposed change:
- Expose these two settings through
WriterPropertiesand apply them when constructing Arrow's Parquet writer properties. - Use the Iceberg defaults already declared in
table_properties.h: 1 MiB for data pages and 2 MiB for dictionary pages. - Reject invalid or non-positive values before creating the output file.
- Add tests for defaults, overrides, invalid values, and propagation into the underlying writer, plus write/read coverage with custom settings.
Background:
- Java resolves and validates both properties in
Parquet.WriteBuilder.Context.dataContext. - Rust applies them in
ParquetWriterBuilder::from_table_properties.
Note:
Byte-based row-group sizing (write.parquet.row-group-size-bytes) can be handled in a separate follow-up because it requires examining the buffering and flush policy.
- Lingua principale
- C++
- Stelle
- 223
- Fork
- 127
- Merge medio
- 1g 13h
- PR unite (30g)
- 28
Preparare l'ambiente
Non abbiamo ancora controllato i file di configurazione di questo progetto. Parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di apache/iceberg-cpp
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
apache/iceberg-cpp#973 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 20/100
apache/iceberg-cpp#959 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100
apache/iceberg-cpp#955 · 3 commenti · 1 reazione ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100
apache/iceberg-cpp#946 · 5 commenti ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100
apache/iceberg-cpp#944 ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di apache/iceberg-cpp
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
mpfaffenberger/privateer_reimagined#658 ·
I maintainer di solito rispondono entro 1 giorno
-
Broken links in the docsAperta
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 85/100
microsoft/onnxruntime#33018 ·
I maintainer di solito rispondono entro 2 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
AXERA-TECH/ax-llm#81 ·
-
enhancement
Difficoltà 2/5 Mezza giornata Idoneità per principianti 78/100
ros-industrial/ros2_canopen#448 ·
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 78/100
I maintainer di solito rispondono entro 1 giorno