feat: implement ReplacePartitions (two-PR plan)
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 58/100
- issue の種類
- 機能追加
- 明瞭さ
- 明確に書かれている
- 活発さ
- 静か
- 技術スタック
- cpp
調査の方向性
まず既存の FastAppend と SnapshotUpdate の実装を読み、次に一覧にある snapshot、manifest、table、transaction の各ファイルを調べます。計画されている replace_partitions_test.cc とその CMake への登録を使用して、パーティションの置換、非パーティション時の動作、operation および summary のメタデータ、新しい table および transaction API がカバーされていることを確認します。
索引モデルが issue の本文から書いたものです。
説明
Overview
This issue tracks the implementation of ReplacePartitions in C++, assigned in #637.
ReplacePartitions performs dynamic partition overwrite: each file added to the operation marks its entire partition for deletion, and on commit, existing files in those partitions are atomically replaced. The resulting snapshot uses operation="overwrite" and summary property "replace-partitions"="true".
Implementation Plan
PR 1 — Core implementation
New files:
src/iceberg/update/replace_partitions.hsrc/iceberg/update/replace_partitions.cc
Modified files:
src/iceberg/snapshot.h— addkReplacePartitionsconstant toSnapshotSummaryFieldssrc/iceberg/type_fwd.h— addclass ReplacePartitions;src/iceberg/CMakeLists.txt— register new source
PR 2 — Table/Transaction API surface + tests
Modified files:
src/iceberg/table.h/table.cc— addNewReplacePartitions()src/iceberg/transaction.h/transaction.cc— addNewReplacePartitions()
New files:
src/iceberg/test/replace_partitions_test.ccsrc/iceberg/test/CMakeLists.txt— register test
Design
ReplacePartitions extends SnapshotUpdate (same pattern as FastAppend) and uses ManifestFilterManager to mark existing partition files as DELETED:
AddFile(file): callsfilter_manager_.DropPartition(spec_id, partition), accumulates new file innew_data_files_by_spec_ValidateAppendOnly(): callsfilter_manager_.FailAnyDelete()Apply(): for unpartitioned tables callsfilter_manager_.DeleteByRowFilter(AlwaysTrue); callsFilterManifests()on existing snapshot, then prepends new manifestsoperation(): returnsDataOperation::kOverwriteSummary(): sets"replace-partitions"="true"
Relates to: #637
- 主要言語
- C++
- スター
- 226
- フォーク
- 132
- 平均マージ
- 1日 11時間
- マージ済み PR（30日）
- 27
環境構築
このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
apache/iceberg-cpp のほかの issue
-
bug: ReferenceVisitor::GetReferencedFieldIds dereferences null on a bound COUNT(*)対応中かも @LuciferYang が 3 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
apache/iceberg-cpp#978 ·
メンテナーはふだん 1 日以内に返信
-
bug: InMemoryCatalog skips the namespace existence check in CreateTable and RegisterTable対応中かも @LuciferYang が 3 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
apache/iceberg-cpp#977 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 88/100
apache/iceberg-cpp#973 ·
メンテナーはふだん 1 日以内に返信
-
bug: expression JSON deserialization throws an uncaught exception on a non-string "type"/"term"対応中かも このイシューにリンクされたプルリクエストがオープン中、またはマージ済みです。 オープン
難易度 3/5 1〜2日 初心者へのやさしさ 75/100
apache/iceberg-cpp#979 ·
メンテナーはふだん 1 日以内に返信
-
難易度 5/5 1週間以上 初心者へのやさしさ 20/100
apache/iceberg-cpp#959 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
apache/iceberg-cpp の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 86/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 86/100
WebAssembly/binaryen#9207 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
godotengine/godot#124139 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
ChicoState/autovalidate#195 ·