Spark DataSource backed by a DataFusion TableProvider over ADBC

Offen

#112 erstellt am 30.6.2026 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit: 5/5
Geschätzter Aufwand: Über eine Woche
Anfängerfreundlichkeit: 25/100

Issue-Typ: Feature
Klarheit: Klar beschrieben
Aktivitätsstatus: Veraltet
Tech-Stack: java, python, spark
Bereich: backend, data-engineering, distributed-systems

Rechercherichtung

Beginne mit der in #111 referenzierten Implementierung und vergleiche sie anschließend mit dem in diesem Issue angegebenen Umfang: adbc-datafusion DataSourceV2, Pushdowns, partitionierte Lesevorgänge, Executor Connection Pooling und PySpark-Abdeckung. Führe die im Issue erwähnte End-to-End-Abdeckung aus und überprüfe, dass jede aufgeführte Funktionalität enthalten ist und funktioniert.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

Is your feature request related to a problem or challenge?

Spark users want to read data from a DataFusion TableProvider as a native Spark DataSourceV2. Today there is no first-class path; options are either a bespoke per-operation JNI surface (more native surface to maintain) or copying data out of process.

Describe the solution you'd like

A Spark DataSourceV2 connector that places the native boundary at a standard ADBC driver. Spark talks to the upstream arrow-adbc Java driver manager (adbc-core + adbc-driver-jni), which loads a native DataFusion ADBC cdylib and returns arrow-java ArrowReaders consumed zero-copy as ArrowColumnVectors on the cluster-provided Arrow. This reuses the upstream ADBC bindings rather than reproducing them.

Scope:

adbc-datafusion format registered as a DataSourceV2; schema probed on the driver.
Projection / filter / limit pushdown via Substrait, with a SQL fallback.
Multi-partition reads (executePartitioned / readPartition) and a target_partitions option.
Per-executor connection pool to amortize driver/database setup across task slots.
An example DataFusion ADBC driver cdylib plus end-to-end (PySpark) coverage.

Describe alternatives you've considered

A plain-C scan ABI + hand-written JNI shim (discussed on #103 / #104). The ADBC approach reuses standard, separately-reviewed bindings and a stable driver contract instead.

Additional context

Implemented in #111.

Vorherrschende Sprache: Java
Sterne: 32
Forks: 12
PR-Merge-Kennzahlen: Keine gemergten PRs in 30 T.

Beitragsleitfaden

Beitragsleitfaden öffnen

Erste Schritte

Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
Forken Sie das Repository und arbeiten Sie in einem Branch.
Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus apache/datafusion-java

Support pluggable AWS credentials for the S3 object store (credentials provider callback) Offen

Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 35/100

apache/datafusion-java#116 · Erstellt am 26.8.2026
feat(dataframe): expose the executed physical plan with per-operator metrics Offen

enhancement

Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 42/100

apache/datafusion-java#96 · Erstellt am 26.5.2026
feat(table): expose `registerStreamingTable` for push-mode batch ingest Offen

enhancement

Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 38/100

apache/datafusion-java#95 · Erstellt am 26.5.2026
Create first release Offen

enhancement

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 35/100

apache/datafusion-java#86 · 3 Kommentare · Erstellt am 25.5.2026
feat: query cancellation via `CancellationToken` on `SessionContext` Offen

enhancement

Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 45/100

apache/datafusion-java#68 · Erstellt am 19.5.2026

Alle Issues in apache/datafusion-java