Parquet writer ignores per-column `write.parquet.bloom-filter-*` table properties
メンテナーはふだん 3 日以内に返信
まだ誰も着手していません。
- #3148 @alessandro-nori による — マージされずにクローズ
評価
- 難易度
- 3/5
- 見積もり時間
- 1〜2日
- 初心者へのやさしさ
- 78/100
- issue の種類
- 機能追加
- 明瞭さ
- 明確に書かれている
- 活発さ
- 活発
- 技術スタック
- rust
調査の方向性
crates/iceberg/src/writer/file_writer/parquet_writer.rs:90-113 と crates/iceberg/src/spec/table_properties.rs から始め、TableProperties.java:184-199 と parquet/src/main/java/org/apache/iceberg/parquet/Parquet.java:652-668 のリファレンス動作と比較します。3つの列ごとの Bloom フィルター・プロパティが定義され、parquet-rs WriterProperties にマッピングされれば完了です。
索引モデルが issue の本文から書いたものです。
説明
Is your feature request related to a problem or challenge?
ParquetWriterBuilder::from_table_properties translates write.parquet.* settings into parquet-rs WriterProperties (crates/iceberg/src/writer/file_writer/parquet_writer.rs:90-113): CDC, compression codec/level, row-group bytes, page size, page row limit, dict page size.
The bloom-filter properties are not among them, and crates/iceberg/src/spec/table_properties.rs defines no constants for them. A table that requests bloom filters gets files written without any. Reference behaviour is in TableProperties.java:184-199, consumed at parquet/src/main/java/org/apache/iceberg/parquet/Parquet.java:652-668.
Describe the solution you'd like
the three per-column properties (write.parquet.bloom-filter-enabled.column.<col>, write.parquet.bloom-filter-fpp.column.<col> and write.parquet.bloom-filter-ndv.column.<col>) map directly onto parquet-rs.
Willingness to contribute
I would be willing to contribute to this feature with guidance from the Iceberg Rust community
- 主要言語
- Rust
- スター
- 1.4k
- フォーク
- 612
- 平均マージ
- 4日 35分
- マージ済み PR（30日）
- 71
環境構築
このプロジェクトの開発コンテナを、あなたの GitHub アカウントでブラウザ上に起動します。
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートあり
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
apache/iceberg-rust のほかの issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
apache/iceberg-rust#3551 ·
メンテナーはふだん 3 日以内に返信
-
REST create_table omits partition spec-id; Java-based servers (Polaris) reject it対応中かも @ninglinLiu が 2 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 66/100
apache/iceberg-rust#3469 · コメント 1 件 ·
メンテナーはふだん 3 日以内に返信
-
V1 manifest lists written by Java lose added/existing/deleted file counts対応中かも @kacper-li-airspace-intelligence が 13 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
apache/iceberg-rust#3445 ·
メンテナーはふだん 3 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
apache/iceberg-rust#3359 ·
メンテナーはふだん 3 日以内に返信
-
Row filter keeps every row for `<` and `<=` on a null column that is missing from the data file対応中かも @mattfaltyn が 5 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
apache/iceberg-rust#3355 · リアクション 1 件 ·
メンテナーはふだん 3 日以内に返信
apache/iceberg-rust の issue をすべて見る
似ている issue
-
component:benchmark
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
agentic-os-org/ANOLISA#9177 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
oracle/rust-oracledb#61 ·
-
bug priority-medium to-agent
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
メンテナーはふだん 1 日以内に返信
-
難易度 1/5 1時間未満 初心者へのやさしさ 82/100
メンテナーはふだん 2 日以内に返信
-
Databricks tool-only response crashes in resolve_reasoning_and_content with KeyError: content対応中かも @1divyanshdev が今日担当しました。 オープンllm translation
難易度 2/5 1〜3時間 初心者へのやさしさ 79/100
BerriAI/litellm#48637 · コメント 2 件 ·
メンテナーはふだん 1 日以内に返信