Pluggable Backend Interface with DataFusion for Bounded-Memory Compute
Les mainteneurs répondent en général sous 1 jour
Personne n'a encore pris cette issue.
- #3716 par @qzyu999 — fermée sans fusion
Évaluation
- Difficulté
- 5/5
- Temps estimé
- Plus d'une semaine
- Accessibilité débutants
- 25/100
- Type d'issue
- Fonctionnalité
- Clarté
- À clarifier
- Activité
- Calme
- Stack technique
- python
- Domaine
- backend, data-engineering, databases
Piste de recherche
Aucun fichier d’implémentation ni test n’est nommé. Commencez par lire les issues associées #1210, #3270 et #3554, puis définissez le périmètre des protocoles ReadBackend, WriteBackend et ComputeBackend proposés ainsi que de l’intégration DataFusion. Le travail est considéré comme terminé lorsque les comportements listés de suppression, de streaming, de tri et de planification des scans sont pris en charge, qu’il n’y a aucune régression sans DataFusion et que les résultats de PyArrow et de DataFusion sont équivalents.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
Summary
PyIceberg uses PyArrow as its sole execution engine. PyArrow is a kernel library with no memory management, no spill-to-disk, and no join operators. Operations that process more data than available memory (CoW deletes, equality delete resolution, scan planning for heavily-deleted tables, sorted writes) crash with OOM errors.
This issue tracks introducing a pluggable backend interface (ReadBackend, WriteBackend, ComputeBackend protocols) and integrating Apache DataFusion as the first bounded-memory compute backend.
Problem
| Operation | Current Status | OOM Pattern |
|---|---|---|
| Equality delete reads | Hard ValueError |
Anti-join requires all delete keys in memory |
| CoW delete (large files) | OOMs | Materializes entire Parquet file into RAM |
| Scan planning (>100K deletes) | OOMs | All delete entries in Python dict |
| Sort-on-write | Not implemented | Full sort before write |
| Positional deletes (millions) | OOMs | Python set of positions |
Tables written by Flink (which uses equality deletes) are completely unreadable by PyIceberg today.
Solution
- Pluggable interface:
ReadBackend,WriteBackend,ComputeBackendprotocols that decouple PyIceberg from PyArrow - DataFusion integration: Bounded-memory sort, join, and filter with spill-to-disk via
datafusion-python - Migration: All existing data operations route through the interface with zero API changes
Deliverables
- Equality delete resolution (NEW): tables with equality deletes can now be read
- CoW delete/overwrite streaming (FIX): statistics short-circuit + two-pass streaming
- Positional delete resolution (IMPROVED): bounded-memory for large delete sets
- Sort-on-write (NEW): external merge sort when DataFusion installed
- Bounded-memory scan planning (NEW): for tables with >100K delete files
Related Issues
- #1210 - Support reading equality delete files
- #3270 - Equality Delete support
- #3554 - Integrate DataFusion as execution engine
Acceptance Criteria
- All existing tests pass without
datafusioninstalled (no regression) - Tables with equality deletes return correct results
- CoW delete on 2GB+ files completes without OOM (with DataFusion)
- Sort-on-write produces sorted files when table has sort order and DataFusion installed
- Property-based tests verify PyArrow and DataFusion backends produce identical output
- Langage dominant
- Python
- Étoiles
- 1.1k
- Forks
- 606
- Merge moyen
- 1 j 11 h
- PR mergées (30 j)
- 76
Préparer son environnement
- Aucun Dockerfile ni fichier Docker Compose
- Propose un modèle de pull request
- Aucun guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de apache/iceberg-python
-
View does not expose metadata_location: RestCatalog.load_view discards it from the server's responsePeut-être pris @Soumo-git-hub l’a pris il y a 1 jour. Ouvertekind:bug
Difficulté 2/5 1-3 heures Accessibilité débutants 84/100
apache/iceberg-python#4073 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 70/100
apache/iceberg-python#4010 · 3 commentaires · 1 réaction ·
Les mainteneurs répondent en général sous 1 jour
-
to_bytes silently rescales a Decimal with a negative scalePeut-être pris @Rodrigo-Palma l’a pris il y a 17 jours. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
apache/iceberg-python#3996 ·
Les mainteneurs répondent en général sous 1 jour
-
Deletion vector bitmap count is read from the blob and used as a loop bound without validationPeut-être pris @ghoshp83 l’a pris il y a 17 jours. Ouvertebug
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
apache/iceberg-python#3979 ·
Les mainteneurs répondent en général sous 1 jour
-
FsspecFileIO: `_adls` mutates shared properties, so a second storage account gets the first account's filesystemPeut-être pris @krishnakaanchan-png l’a pris il y a 35 jours. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
apache/iceberg-python#3885 ·
Les mainteneurs répondent en général sous 1 jour
Toutes les issues de apache/iceberg-python
Issues similaires
-
bug needs-triage
Difficulté 2/5 1-3 heures Accessibilité débutants 68/100
debpalash/VoiceStudio#2624 ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 75/100
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
-
Make Catch2 optional when `RDK_BUILD_CPP_TESTS=OFF`Peut-être pris @pechersky l’a pris aujourd’hui. Ouvertebug
Difficulté 2/5 1-3 heures Accessibilité débutants 82/100
Les mainteneurs répondent en général sous 2 jours
-
There are a few redundant calls to `fdesc._setCloseOnExec()`Peut-être pris @gudnimg l’a pris aujourd’hui. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 82/100
Les mainteneurs répondent en général sous 1 jour