Surface foreign ExecutionPlan metrics via FFI (FFI_MetricsSet)

Offen

#1,576 erstellt am 04.6.2026 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit: 5/5
Geschätzter Aufwand: Über eine Woche
Anfängerfreundlichkeit: 25/100

Issue-Typ: Feature
Klarheit: Muss geklärt werden
Aktivitätsstatus: Ruhig
Tech-Stack: python, rust
Bereich: backend-api-design, data-engineering

Rechercherichtung

Beginne damit, den Upstream-crate datafusion-ffi jenseits von v54 auf ein FFI_MetricsSet und seine Verbindung zu FFI_ExecutionPlan::metrics zu prüfen. Untersuche dann das Python MetricsSet und bestehende *Exportable-from_pycapsule-Muster. Die Arbeit ist abgeschlossen, wenn Metriken fremder Ausführungspläne die FFI-Grenze überqueren und über die Python-Bindings verfügbar gemacht werden können.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

Background

PyMetricsSet currently wraps the native DataFusion MetricsSet only. When a foreign ExecutionPlan is imported through FFI_ExecutionPlan (for example a plan implemented in a separate Rust extension, Go, or another Python module), there is no FFI round-trip for metrics: plan.metrics() on such a foreign plan returns whatever the underlying implementation happens to populate, with no standard way for the foreign side to surface DataFusion-style metrics back across the boundary.

Why deferred

There is no FFI_MetricsSet struct in the upstream datafusion-ffi crate at v54 to wrap; this is a pipeline-symmetry concern rather than a feature gap with a clear upstream target. No open user requests at the time of audit. Filed for tracking so that when upstream lands FFI metrics support, the Python bindings can pick it up immediately. The accepted path is probably: upstream adds FFI_MetricsSet and threads it through FFI_ExecutionPlan::metrics; the Python bindings then expose a from_pycapsule helper on MetricsSet analogous to the other *Exportable patterns.

Vorherrschende Sprache: Python
Sterne: 605
Forks: 176
Ø Merge: 1 T. 23 Std.
Gemergte PRs (30 T.): 8

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Erste Schritte

Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
Forken Sie das Repository und arbeiten Sie in einem Branch.
Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus apache/datafusion-python

Allow "str" for function arguments that accept "col" expressions Offen

enhancement

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 70/100

apache/datafusion-python#1757 · Erstellt am 22.9.2026
Rewrite the "Encode metadata, not a handle to a live object" section Offen

documentation

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100

apache/datafusion-python#1726 · Erstellt am 11.9.2026
Missing docstring examples in the `unparser` module Offen

Schwierigkeit 2/5 Ein halber Tag Anfängerfreundlichkeit 88/100

apache/datafusion-python#1691 · Erstellt am 16.8.2026
Build fails against DataFusion 54.1.0 due to new `schema` field on `RecursiveQuery` Offen

bug

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100

apache/datafusion-python#1644 · Erstellt am 24.7.2026
Allow extension libraries to contribute object stores over FFI Offen

enhancement

Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 30/100

apache/datafusion-python#1737 · Erstellt am 15.9.2026

Alle Issues in apache/datafusion-python