Propagate Java stack traces from JVM upcalls into DataFusionError

Offen

#55 erstellt am 17.5.2026 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit: 4/5
Geschätzter Aufwand: 3-5 Tage
Anfängerfreundlichkeit: 45/100

Issue-Typ: Feature
Klarheit: Größtenteils klar
Aktivitätsstatus: Ruhig
Tech-Stack: java
Bereich: backend

Rechercherichtung

Beginne damit, Java-implementierte upcalls über org.apache.datafusion.internal.JniBridge nachzuverfolgen, ausgehend von skalaren UDFs und der Behandlung von DataFusionError::Execution. Ermittle jeden JVM-to-native-Pfad, der einen Throwable abfängt, und wie die Konfiguration von SessionContext diese erreichen kann. Erledigt ist die Aufgabe, wenn alle aktuellen und zukünftigen upcalls eine konfigurierbare Nachricht, einen vollständigen Stack Trace oder eine Darstellung ohne Trace verwenden, wobei full der Standard ist.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

Follow-up from PR #46 review (thread).

Problem

When a Java-implemented upcall throws (currently: scalar UDFs via JniBridge, but the same will apply to any future upcall — table providers, aggregate UDFs, etc.), the native side surfaces only the exception class name and getMessage() via DataFusionError::Execution. The Java stack trace is discarded, which makes debugging much harder than necessary.

Proposal

Capture the throwable's stack trace on the JVM side and include it in the error string returned to native code. Make verbosity configurable per SessionContext so production callers can opt out — e.g. an enum like message | full | none, default full.

Scope

Should cover all JVM→native upcall paths, not just scalar UDFs. A shared helper in org.apache.datafusion.internal.JniBridge (or a new JniErrors utility) that converts a Throwable to the configured representation, used wherever upcalls catch exceptions.

References

pgwhalen's session-configurable approach in his community binding: https://github.com/pgwhalen/datafusion-java/blob/1c20733aa8b008315af6092a912b58ef3df6a482/datafusion-ffi-java/src/main/java/org/apache/arrow/datafusion/config/ConfigOptions.java#L50-L54

Vorherrschende Sprache: Java
Sterne: 32
Forks: 12
PR-Merge-Kennzahlen: Keine gemergten PRs in 30 T.

Beitragsleitfaden

Beitragsleitfaden öffnen

Erste Schritte

Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
Forken Sie das Repository und arbeiten Sie in einem Branch.
Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus apache/datafusion-java

Support pluggable AWS credentials for the S3 object store (credentials provider callback) Offen

Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 35/100

apache/datafusion-java#116 · Erstellt am 26.8.2026
Spark DataSource backed by a DataFusion TableProvider over ADBC Offen

Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 25/100

apache/datafusion-java#112 · Erstellt am 30.6.2026
feat(dataframe): expose the executed physical plan with per-operator metrics Offen

enhancement

Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 42/100

apache/datafusion-java#96 · Erstellt am 26.5.2026
feat(table): expose `registerStreamingTable` for push-mode batch ingest Offen

enhancement

Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 38/100

apache/datafusion-java#95 · Erstellt am 26.5.2026
Create first release Offen

enhancement

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 35/100

apache/datafusion-java#86 · 3 Kommentare · Erstellt am 25.5.2026

Alle Issues in apache/datafusion-java