Support optional Parquet page index writes

オープン

#3,847 2026年8月25日に作成コメント 0 件リアクション 0 件担当者 0 名 GitHub で見る

まだ誰も着手していません。

評価

難易度: 2/5
見積もり時間: 1〜3時間
初心者へのやさしさ: 25/100

issue の種類: 機能追加
明瞭さ: 明確に書かれている
活発さ: 停滞
技術スタック: python
領域: data-engineering

調査の方向性

まず PR #3829 を確認し、次に _get_parquet_writer_kwargs、mkdocs/docs/configuration.md、および参照されている unit test と integration test を調べます。デフォルトでは opt-in プロパティが false のままで、true の場合に PyArrow のページインデックスの書き込みが有効になり、ドキュメントに記載されたテストが成功すれば完了です。

索引モデルが issue の本文から書いたものです。

説明

Feature Request / Improvement

PyIceberg doesn't expose Parquet page index writing, even though PyArrow supports it with ParquetWriter(write_page_index=True).

Use case / motivation

Page indexes let readers such as ClickHouse skip non-matching pages during predicate evaluation, avoiding decoding work for selective queries. Tables written by PyIceberg currently lack these indexes, so page-level pruning is not possible regardless of reader support.

Proposed change

Add an opt-in write.parquet.page-index-enabled table property, default false, to preserve current output and file sizes. When enabled, PyIceberg passes write_page_index=True to PyArrow's ParquetWriter.

Implementation

PR #3829 adds the table property, threads it through _get_parquet_writer_kwargs, documents it in mkdocs/docs/configuration.md, and includes unit and integration test coverage.

Tooling note

I developed this with assistance from DS v4 Pro and reviewed the changes myself.

References

#3829

主要言語: Python
スター: 1.1k
フォーク: 589
平均マージ: 1日 20時間
マージ済み PR（30日）: 68

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

はじめの一歩

issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
リポジトリをフォークし、ブランチを切って変更します。
issue 番号を参照したプルリクエストを送ります。

apache/iceberg-python のほかの issue

Move AES GCM fixtures to Iceberg-verification オープン

難易度 2/5 1〜3時間初心者へのやさしさ 70/100

apache/iceberg-python#4010 · リアクション 1 件 · 2026年9月23日に作成
Avro EnumReader.skip() does not advance the decoder オープン

kind:bug

難易度 1/5 1時間未満初心者へのやさしさ 92/100

apache/iceberg-python#4006 · 2026年9月22日に作成
to_bytes silently rescales a Decimal with a negative scale オープン

難易度 2/5 1〜3時間初心者へのやさしさ 78/100

apache/iceberg-python#3996 · 2026年9月18日に作成
Deletion vector bitmap count is read from the blob and used as a loop bound without validation オープン

bug

難易度 2/5 1〜3時間初心者へのやさしさ 72/100

apache/iceberg-python#3979 · 2026年9月16日に作成
FsspecFileIO: `_adls` mutates shared properties, so a second storage account gets the first account's filesystem オープン

難易度 2/5 1〜3時間初心者へのやさしさ 78/100

apache/iceberg-python#3885 · 2026年8月31日に作成

apache/iceberg-python の issue をすべて見る

似ている issue

[Bug] reef-hermes tells me to resume with hermes --resume, which does not work from my shell オープン

area: harness bug status: needs-triage

難易度 2/5 1〜3時間初心者へのやさしさ 75/100

Human-Agent-Society/reef#625 · 2026年9月24日に作成
Bump transitive axios to >=1.18.0 to address GHSA-hcpx-6fm6-wx23 オープン

難易度 2/5 1〜3時間初心者へのやさしさ 70/100

coinbase/cdp-sdk#828 · 2026年9月24日に作成
AccessibleResourceCard/AccessibleChannelCard crash when a resource has more than one learning activity (getActivityTags returns an object instead of an array) オープン

難易度 1/5 1時間未満初心者へのやさしさ 80/100

learningequality/kolibri#15351 · コメント 2 件 · 2026年9月24日に作成
audeer.path(): optionally expand environment variables オープン

難易度 2/5 1〜3時間初心者へのやさしさ 75/100

audeering/audeer#212 · コメント 1 件 · 2026年9月24日に作成
Name consistency オープン

難易度 2/5 1〜3時間初心者へのやさしさ 75/100

eellak/triplestore#65 · コメント 1 件 · 2026年9月24日に作成

Python の issue をもっと見る