Support multi-argument transforms
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Anfängerfreundlichkeit
- 58/100
- Issue-Typ
- Feature
- Klarheit
- Größtenteils klar
- Aktivitätsstatus
- Ruhig
- Tech-Stack
- python
- Bereich
- data-engineering
Rechercherichtung
Beginne damit, das partition-field-Modell und seine Serialisierung nachzuverfolgen, und untersuche anschließend die Behandlung von unknown transforms beim scan-planning. Vergleiche das aktuelle Verhalten von source-id mit einem einzelnen Argument mit der V3-Spezifikation. Erledigt ist die Aufgabe, wenn source-ids mit mehreren Argumenten korrekt geladen und serialisiert werden, beim scan-planning als unbekannt behandelt werden und die write-time evaluation weiterhin außerhalb des Umfangs bleibt.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
Feature Request / Improvement
Part of #1818.
The V3 spec generalizes partition and sort fields to multiple source columns via source-ids. PyIceberg currently raises when source-ids has more than one element, so loading such tables fails — but the spec requires v3 readers to read tables with unknown transforms, ignoring them (null partition values, always-true projection in scan planning).
Scope: model source-ids, serialize per spec (source-id for single-argument transforms, source-ids otherwise), and treat multi-argument transforms as unknown in scan planning. Evaluating multi-argument transforms on write is out of scope until the spec defines concrete ones.
- Vorherrschende Sprache
- Python
- Sterne
- 1.1k
- Forks
- 589
- Ø Merge
- 2 T. 4 Std.
- Gemergte PRs (30 T.)
- 72
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus apache/iceberg-python
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
apache/iceberg-python#3996 ·
-
Deletion vector bitmap count is read from the blob and used as a loop bound without validation Offenbug
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
apache/iceberg-python#3979 ·
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
apache/iceberg-python#3885 ·
-
[Bug] PyArrowFileIO fails to propagate s3.ssl.ca-cert to pyarrow.fs.S3FileSystem tls_ca_file_path Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 76/100
apache/iceberg-python#3866 · 1 Kommentar ·
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
apache/iceberg-python#3836 · 1 Kommentar ·
Alle Issues in apache/iceberg-python
Ähnliche Issues
-
bug ci good first issue
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 88/100
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 76/100
-
documentation
Schwierigkeit 2/5 Ein halber Tag Anfängerfreundlichkeit 62/100
inmanta/inmanta-core#10835 ·
-
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 92/100
-
sponsored
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 65/100