ExecuteMany performance is insanely bad

Offen

#558 erstellt am 19.5.2025 1 Kommentar 1 Reaktion 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit: 5/5
Geschätzter Aufwand: Über eine Woche
Anfängerfreundlichkeit: 20/100

Issue-Typ: Feature
Klarheit: Muss geklärt werden
Aktivitätsstatus: Veraltet
Tech-Stack: python, sql
Bereich: data-engineering, databases

Rechercherichtung

Beginne damit, die executemany-Implementierung des Connectors zu lokalisieren und das dokumentierte Verhalten zu lesen, das sie als naive Schleife beschreibt. Untersuche, wie eine einzelne SQL-Anweisung mit VALUES(...) das angeforderte Batching für Schreibvorgänge in eine Delta-Tabelle unterstützen könnte, und definiere den Abschluss anhand einer verbesserten Performance bei nichttrivialen DataFrame-Ladevorgängen.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

I know that the documentation makes it clear that executemany is a naive for loop:

No optimizations of the query (like batching) will be performed.

But it's 2025 and please have a more optimized executemany that just issues a single SQL statement using VALUES(...) or something so this is actually usable in a data pipeline. Otherwise, trying to use the databricks SQL connector to write any non-trivial dataframe to a delta table is pointless.

Thanks!

Vorherrschende Sprache: Python
Sterne: 233
Forks: 152
Ø Merge: 21 Std. 5 Min.
Gemergte PRs (30 T.): 10

Beitragsleitfaden

Beitragsleitfaden öffnen

Erste Schritte

Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
Forken Sie das Repository und arbeiten Sie in einem Branch.
Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus databricks/databricks-sql-python

`RedactUrlQueryParamsFilter` crashes with `TypeError: NoneType is not iterable` when MLflow's urllib3 filter runs first Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100

databricks/databricks-sql-python#946 · Erstellt am 09.9.2026
Token federation: `_exchange_token` raises KeyError('access_token') on error responses, discarding the real failure reason Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 76/100

databricks/databricks-sql-python#904 · Erstellt am 12.8.2026
[coverage] Conformance findings: PARAMQUERY-022 Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100

databricks/databricks-sql-python#887 · Erstellt am 03.8.2026
[coverage] Conformance findings: METADATA-035 Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100

databricks/databricks-sql-python#886 · Erstellt am 31.7.2026
reviewer-bot: workflow_dispatch reads default-branch code for explore tools (set REVIEW_CONTENT_ROOT) Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 84/100

databricks/databricks-sql-python#865 · Erstellt am 16.7.2026

Alle Issues in databricks/databricks-sql-python