Build inspect.entries() and inspect.files() from pyiceberg-core Arrow output

Offen
  • Stimmt etwas nicht?
#4,297 1 Kommentar 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Maintainer antworten meist innerhalb von 1 Tag

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Anfängerfreundlichkeit
45/100
Issue-Typ
Feature
Klarheit
Klar beschrieben
Aktivitätsstatus
Aktiv
Tech-Stack
python
Bereich
data-engineering

Rechercherichtung

Start with pyiceberg/table/inspect.py at inspect.entries() and inspect.files(), then read pyiceberg/manifest.py around _inherit_from_manifest and the dependency ranges in pyproject.toml. Check the pyiceberg-core Arrow reader release and its DataFusion major version before changing the dependency pin. Done when both methods use Arrow manifest output when the optional extra is installed, retain the current path without it, and their tests cover the inherited fields and dependency constraints.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

Feature Request / Improvement

inspect.entries() and inspect.files() build a DataFile per manifest entry and then flatten them back into a pa.Table (inspect.py#L152, inspect.py#L860). Once pyiceberg-core returns manifests as pyarrow tables (apache/iceberg-rust#3648), these methods can build their tables from that output directly. They're the first consumer of the Arrow output in #4007, because they want Arrow anyway.

The Arrow manifest reader fills null snapshot_id, sequence_number, and file_sequence_number values from the manifest list as the manifest_entry fields specify, and null first_row_id values as first row ID inheritance specifies. That replaces what _inherit_from_manifest (manifest.py#L1050) does today. pyiceberg-core is an optional extra, so the current path stays when it isn't installed.

This needs a pyiceberg-core release with the Arrow readers, and raising PyIceberg's pin (>=0.10.1,<0.11.0) to it. The new range has to name the same DataFusion major version as the datafusion range (pyproject.toml#L95-L98).

Vorherrschende Sprache
Python
Sterne
1.2k
Forks
654
Ø Merge
2 T. 11 Std.
Gemergte PRs (30 T.)
122

Entwicklungsumgebung

  • Kein Dockerfile und keine Docker-Compose-Datei
  • Hat eine Pull-Request-Vorlage
  • Kein Beitragsleitfaden

Erste Schritte

  1. Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
  3. Forken Sie das Repository und arbeiten Sie in einem Branch.
  4. Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus apache/iceberg-python

Alle Issues in apache/iceberg-python

Ähnliche Issues

Weitere Issues zu Python

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.