Why non-atomic delete and upsert?
Les mainteneurs répondent en général sous 1 jour
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Accessibilité débutants
- 35/100
- Type d'issue
- Bug
- Clarté
- À clarifier
- Activité
- Calme
- Stack technique
- python
- Domaine
- data-engineering, databases
Piste de recherche
L’issue ne nomme aucun fichier, test ou point d’entrée ; commencez par localiser les implémentations de delete et upsert dans PyIceberg et par examiner la manière dont elles créent des snapshots. Déterminez si le comportement observé avec plusieurs snapshots est intentionnel, puis documentez-en la raison ou définissez le comportement atomique requis avant d’effectuer une modification.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
Question
The implementation of the delete and upsert operation make an deliberate choice to create multiple snapshots, breaking the atomicity expectation.
For example, if I start a delete operation to remove some entries, I do not expect consumers of the data to see a snapshot with some but not all of the entries gone.
Given that the implementation choice looks very deliberate, I'm curious about the rationale for it?
It seems that other clients of the library expect atomic operation as well, for example https://github.com/apache/iceberg-python/issues/3076
- Langage dominant
- Python
- Étoiles
- 1.1k
- Forks
- 606
- Merge moyen
- 1 j 10 h
- PR mergées (30 j)
- 72
Préparer son environnement
- Aucun Dockerfile ni fichier Docker Compose
- Propose un modèle de pull request
- Aucun guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de apache/iceberg-python
-
Replace `__slots__ = (field1,field2,...)` with `slots=True`Peut-être pris @med9110 l’a pris aujourd’hui. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 68/100
apache/iceberg-python#4086 · 2 commentaires ·
Les mainteneurs répondent en général sous 1 jour
-
View does not expose metadata_location: RestCatalog.load_view discards it from the server's responsePeut-être pris @Soumo-git-hub l’a pris aujourd’hui. Ouvertekind:bug
Difficulté 2/5 1-3 heures Accessibilité débutants 84/100
apache/iceberg-python#4073 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 70/100
apache/iceberg-python#4010 · 3 commentaires · 1 réaction ·
Les mainteneurs répondent en général sous 1 jour
-
to_bytes silently rescales a Decimal with a negative scalePeut-être pris @Rodrigo-Palma l’a pris il y a 20 jours. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
apache/iceberg-python#3996 ·
Les mainteneurs répondent en général sous 1 jour
-
Deletion vector bitmap count is read from the blob and used as a loop bound without validationPeut-être pris @ghoshp83 l’a pris il y a 20 jours. Ouvertebug
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
apache/iceberg-python#3979 ·
Les mainteneurs répondent en général sous 1 jour
Toutes les issues de apache/iceberg-python
Issues similaires
-
Difficulté 2/5 1-3 heures Accessibilité débutants 85/100
Les mainteneurs répondent en général sous 1 jour
-
SR_SECURITY_DESCRIPTOR.fromString drops the SACL when no DACL is presentPeut-être pris @paul7436 l’a pris aujourd’hui. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 88/100
Les mainteneurs répondent en général sous 2 jours
-
Difficulté 2/5 1-3 heures Accessibilité débutants 85/100
equinor/fmu-sumo-uploader#302 ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 75/100
modelscope/evalscope#1821 ·
Les mainteneurs répondent en général sous 1 jour
-
Sanity on ansible-core devel fails: ignore-2.23.txt references the removed import-3.9 testPeut-être pris @yurnov l’a pris aujourd’hui. Ouverteneeds_triage
Difficulté 1/5 Moins d'une heure Accessibilité débutants 91/100
ansible-collections/kubernetes.core#1275 ·
Les mainteneurs répondent en général sous 1 jour