Queries on tables via `register_dataset()` much slower than `register_parquet()`

Offen

#584 erstellt am 14.2.2024 2 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit: 4/5
Geschätzter Aufwand: 3-5 Tage
Anfängerfreundlichkeit: 35/100

Issue-Typ: Bug
Klarheit: Größtenteils klar
Aktivitätsstatus: Veraltet
Tech-Stack: python
Bereich: data-engineering, performance

Rechercherichtung

Beginne damit, die Reproduktion auszuführen, indem du ctx.register_parquet() und ctx.register_dataset() mit der gruppierten Abfrage vergleichst, und verfolge anschließend die beiden Registrierungseinstiegspunkte in den Python-Bindings. Erledigt ist die Aufgabe, wenn dieselben Parquet-Dateien eine vergleichbare Abfrageleistung aufweisen und register_parquet() wie angefordert eine Liste von Dateien akzeptieren kann.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

bug

Describe the bug
Queries against tables registered with register_dataset() perform around 80x slower than those registered with register_parquet().

To Reproduce

import datafusion
import pyarrow.dataset as ds
from pathlib import Path

ctx = datafusion.SessionContext()
ctx.register_parquet("mytable", "*.parquet")
ctx.register_dataset("mytable2", ds.dataset(list(Path(".").glob("*.parquet"))))

Fast:

%time ctx.sql('select file_date, sum("Price" * "Volume") from mytable group by file_date order by file_date').to_arrow_table()
CPU times: user 2min 41s, sys: 3.35 s, total: 2min 45s
Wall time: 2.49 s

Slow:

%time ctx.sql('select file_date, sum("Price" * "Volume") from mytable2 group by file_date order by file_date').to_arrow_table()
CPU times: user 10min 51s, sys: 5min 40s, total: 16min 31s
Wall time: 3min 18s

Expected behavior
I'd expect these to be similar performance.

Additional context
The reason I'm using ds.dataset is because the actual files I'm interesting in accessing are not conveniently globbable (they're across multiple directories). So ideally I'd be able to provide a list of files to ctx.register_parquet() instead of a simple glob.

Vorherrschende Sprache: Python
Sterne: 605
Forks: 176
Ø Merge: 1 T. 23 Std.
Gemergte PRs (30 T.): 8

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Erste Schritte

Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
Forken Sie das Repository und arbeiten Sie in einem Branch.
Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus apache/datafusion-python

Allow "str" for function arguments that accept "col" expressions Offen

enhancement

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 70/100

apache/datafusion-python#1757 · Erstellt am 22.9.2026
Rewrite the "Encode metadata, not a handle to a live object" section Offen

documentation

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100

apache/datafusion-python#1726 · Erstellt am 11.9.2026
Missing docstring examples in the `unparser` module Offen

Schwierigkeit 2/5 Ein halber Tag Anfängerfreundlichkeit 88/100

apache/datafusion-python#1691 · Erstellt am 16.8.2026
Build fails against DataFusion 54.1.0 due to new `schema` field on `RecursiveQuery` Offen

bug

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100

apache/datafusion-python#1644 · Erstellt am 24.7.2026
Allow extension libraries to contribute object stores over FFI Offen

enhancement

Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 30/100

apache/datafusion-python#1737 · Erstellt am 15.9.2026

Alle Issues in apache/datafusion-python