feat: implement ReplacePartitions (two-PR plan)
Les mainteneurs répondent en général sous 1 jour
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Accessibilité débutants
- 58/100
- Type d'issue
- Fonctionnalité
- Clarté
- Clairement spécifiée
- Activité
- Calme
- Stack technique
- cpp
- Domaine
- data-engineering
Piste de recherche
Commencez par lire les implémentations existantes de FastAppend et SnapshotUpdate, puis examinez les fichiers de snapshot, de manifest, de table et de transaction indiqués. Utilisez le replace_partitions_test.cc prévu et son enregistrement dans CMake pour vérifier que le remplacement de partitions, le comportement non partitionné, les métadonnées d’opération et de résumé, ainsi que les nouvelles API de table et de transaction sont couverts.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
Overview
This issue tracks the implementation of ReplacePartitions in C++, assigned in #637.
ReplacePartitions performs dynamic partition overwrite: each file added to the operation marks its entire partition for deletion, and on commit, existing files in those partitions are atomically replaced. The resulting snapshot uses operation="overwrite" and summary property "replace-partitions"="true".
Implementation Plan
PR 1 — Core implementation
New files:
src/iceberg/update/replace_partitions.hsrc/iceberg/update/replace_partitions.cc
Modified files:
src/iceberg/snapshot.h— addkReplacePartitionsconstant toSnapshotSummaryFieldssrc/iceberg/type_fwd.h— addclass ReplacePartitions;src/iceberg/CMakeLists.txt— register new source
PR 2 — Table/Transaction API surface + tests
Modified files:
src/iceberg/table.h/table.cc— addNewReplacePartitions()src/iceberg/transaction.h/transaction.cc— addNewReplacePartitions()
New files:
src/iceberg/test/replace_partitions_test.ccsrc/iceberg/test/CMakeLists.txt— register test
Design
ReplacePartitions extends SnapshotUpdate (same pattern as FastAppend) and uses ManifestFilterManager to mark existing partition files as DELETED:
AddFile(file): callsfilter_manager_.DropPartition(spec_id, partition), accumulates new file innew_data_files_by_spec_ValidateAppendOnly(): callsfilter_manager_.FailAnyDelete()Apply(): for unpartitioned tables callsfilter_manager_.DeleteByRowFilter(AlwaysTrue); callsFilterManifests()on existing snapshot, then prepends new manifestsoperation(): returnsDataOperation::kOverwriteSummary(): sets"replace-partitions"="true"
Relates to: #637
- Langage dominant
- C++
- Étoiles
- 223
- Forks
- 127
- Merge moyen
- 1 j 13 h
- PR mergées (30 j)
- 28
Préparer son environnement
Nous n'avons pas encore vérifié les fichiers d'installation de ce projet. Commencez par son README, et consultez notre guide de la première contribution pour les étapes générales.
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de apache/iceberg-cpp
-
Difficulté 2/5 1-3 heures Accessibilité débutants 88/100
apache/iceberg-cpp#973 ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 20/100
apache/iceberg-cpp#959 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
-
Release Apache Iceberg C++ 0.4.0Ouverte
Difficulté 4/5 3-5 jours Accessibilité débutants 45/100
apache/iceberg-cpp#955 · 3 commentaires · 1 réaction ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 35/100
apache/iceberg-cpp#946 · 5 commentaires ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 4/5 3-5 jours Accessibilité débutants 45/100
apache/iceberg-cpp#944 ·
Les mainteneurs répondent en général sous 1 jour
Toutes les issues de apache/iceberg-cpp
Issues similaires
-
component: split-view platform: windows
Difficulté 2/5 1-3 heures Accessibilité débutants 74/100
zen-browser/desktop#15616 · 1 réaction ·
Les mainteneurs répondent en général sous 1 jour
-
area/ysql kind/bug priority/medium status/awaiting-triage
Difficulté 2/5 1-3 heures Accessibilité débutants 84/100
yugabyte/yugabyte-db#34415 ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 86/100
WayfireWM/wayfire#3148 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
-
bug
Difficulté 2/5 1-3 heures Accessibilité débutants 84/100
Les mainteneurs répondent en général sous 1 jour
-
backend:DirectX
Difficulté 2/5 1-3 heures Accessibilité débutants 84/100
llvm/llvm-project#227530 ·
Les mainteneurs répondent en général sous 1 jour