feat: implement ReplacePartitions (two-PR plan)
維護者通常 2 天內回覆
還沒有人認領這個 Issue。
評估
- 難度
- 4/5
- 預估耗時
- 3-5 天
- 新手友好度
- 58/100
- Issue 類型
- 功能
- 描述清晰度
- 描述清楚
- 活躍度
- 冷清
- 技術堆疊
- cpp
研究方向
先閱讀現有的 FastAppend 和 SnapshotUpdate 實作，然後檢查列出的 snapshot、manifest、table 和 transaction 檔案。使用規劃中的 replace_partitions_test.cc 及其在 CMake 中的註冊，驗證分割區替換、未分割區行為、operation 和 summary 中繼資料，以及新的 table 和 transaction API 都已涵蓋。
由索引模型根據 Issue 內容生成。
描述
Overview
This issue tracks the implementation of ReplacePartitions in C++, assigned in #637.
ReplacePartitions performs dynamic partition overwrite: each file added to the operation marks its entire partition for deletion, and on commit, existing files in those partitions are atomically replaced. The resulting snapshot uses operation="overwrite" and summary property "replace-partitions"="true".
Implementation Plan
PR 1 — Core implementation
New files:
src/iceberg/update/replace_partitions.hsrc/iceberg/update/replace_partitions.cc
Modified files:
src/iceberg/snapshot.h— addkReplacePartitionsconstant toSnapshotSummaryFieldssrc/iceberg/type_fwd.h— addclass ReplacePartitions;src/iceberg/CMakeLists.txt— register new source
PR 2 — Table/Transaction API surface + tests
Modified files:
src/iceberg/table.h/table.cc— addNewReplacePartitions()src/iceberg/transaction.h/transaction.cc— addNewReplacePartitions()
New files:
src/iceberg/test/replace_partitions_test.ccsrc/iceberg/test/CMakeLists.txt— register test
Design
ReplacePartitions extends SnapshotUpdate (same pattern as FastAppend) and uses ManifestFilterManager to mark existing partition files as DELETED:
AddFile(file): callsfilter_manager_.DropPartition(spec_id, partition), accumulates new file innew_data_files_by_spec_ValidateAppendOnly(): callsfilter_manager_.FailAnyDelete()Apply(): for unpartitioned tables callsfilter_manager_.DeleteByRowFilter(AlwaysTrue); callsFilterManifests()on existing snapshot, then prepends new manifestsoperation(): returnsDataOperation::kOverwriteSummary(): sets"replace-partitions"="true"
Relates to: #637
- 主要語言
- C++
- 星號
- 228
- 分支
- 136
- 平均合併
- 5 天 19 小時
- 30 天內合併 PR
- 53
環境準備
這個專案沒有提供開發容器、Dockerfile 或貢獻指南，環境需要你自己搭建：先看它的 README，通用步驟見我們的新手貢獻指南。
從這裡開始
- 先讀完整個 Issue，再讀專案的貢獻指南。
- 在 Issue 下留言說明你要接手 —— 這能避免兩個人做同樣的事。
- Fork 儲存庫，在一個分支上完成修改。
- 送出 Pull Request，並在描述裡引用這個 Issue 編號。
apache/iceberg-cpp 的其他 Issue
-
bug: TableMetadataBuilder::RemoveSchemas leaves removed ids in the schema index可能已有人在做 @LuciferYang 於 4 天前認領。 未關閉
難度 2/5 1-3 小時 新手友好度 72/100
apache/iceberg-cpp#1011 ·
維護者通常 2 天內回覆
-
難度 5/5 一週以上 新手友好度 12/100
apache/iceberg-cpp#1027 ·
維護者通常 2 天內回覆
-
bug: gzip table metadata is neither written nor detected as gzip可能已有人在做 @LuciferYang 於 4 天前認領。 未關閉
難度 3/5 1-2 天 新手友好度 66/100
apache/iceberg-cpp#1013 ·
維護者通常 2 天內回覆
-
難度 4/5 3-5 天 新手友好度 35/100
apache/iceberg-cpp#1000 · 2 則留言 · 1 個 reaction ·
維護者通常 2 天內回覆
-
難度 5/5 一週以上 新手友好度 8/100
apache/iceberg-cpp#988 · 2 則留言 ·
維護者通常 2 天內回覆
查看 apache/iceberg-cpp 的全部 Issue
相似的 Issue
-
難度 2/5 1-3 小時 新手友好度 78/100
維護者通常 1 天內回覆
-
enhancement source/qq
難度 2/5 1-3 小時 新手友好度 72/100
metasequoiaime/msime-windows#1054 ·
維護者通常 1 天內回覆
-
難度 2/5 1-3 小時 新手友好度 88/100
amnezia-vpn/amnezia-client#3297 · 1 則留言 ·
維護者通常 1 天內回覆
-
enhancement
難度 2/5 1-3 小時 新手友好度 68/100
metasequoiaime/msime#8620 ·
維護者通常 1 天內回覆
-
area/docs type/bug
難度 2/5 1-3 小時 新手友好度 70/100
ChiR24/Unreal_mcp#679 ·
維護者通常 1 天內回覆