Hacktoberfest 2026 : les issues que les mainteneurs ont marquées pour octobre, ouvertes et accessibles aux débutants. Parcourir les issues Hacktoberfest

ExecuteMany performance is insanely bad

Ouverte
#558 1 commentaire 1 réaction 0 personnes assignées Voir sur GitHub

Personne n'a encore pris cette issue.

Évaluation

Difficulté
5/5
Temps estimé
Plus d'une semaine
Accessibilité débutants
20/100
Type d'issue
Fonctionnalité
Clarté
À clarifier
Activité
À l'abandon
Stack technique
python, sql
Domaine
data-engineering, databases

Piste de recherche

Commencez par localiser l’implémentation de executemany du connecteur et lire le comportement documenté qui la décrit comme une boucle naïve. Étudiez comment une seule instruction SQL utilisant VALUES(...) pourrait prendre en charge le batching demandé pour les écritures dans une table Delta, et définissez l’achèvement en fonction de l’amélioration des performances pour les chargements de dataframes non triviaux.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

I know that the documentation makes it clear that executemany is a naive for loop:

No optimizations of the query (like batching) will be performed.

But it's 2025 and please have a more optimized executemany that just issues a single SQL statement using VALUES(...) or something so this is actually usable in a data pipeline. Otherwise, trying to use the databricks SQL connector to write any non-trivial dataframe to a delta table is pointless.

Thanks!

Langage dominant
Python
Étoiles
233
Forks
152
Merge moyen
21 h 5 min
PR mergées (30 j)
10

Guide de contribution

Ouvrir le guide de contribution

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de databricks/databricks-sql-python

Toutes les issues de databricks/databricks-sql-python

Issues similaires

Plus d'issues Python

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.