ExecuteMany performance is insanely bad
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 20/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Necesita aclaración
- Estado de actividad
- Estancado
- Área
- data-engineering, databases
Línea de trabajo
Comienza localizando la implementación de executemany del conector y leyendo el comportamiento documentado que la describe como un bucle ingenuo. Investiga cómo una única sentencia SQL que use VALUES(...) podría admitir el batching solicitado para escrituras en una tabla Delta, y define la finalización en función de una mejora del rendimiento para cargas de dataframes no triviales.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
I know that the documentation makes it clear that executemany is a naive for loop:
No optimizations of the query (like batching) will be performed.
But it's 2025 and please have a more optimized executemany that just issues a single SQL statement using VALUES(...) or something so this is actually usable in a data pipeline. Otherwise, trying to use the databricks SQL connector to write any non-trivial dataframe to a delta table is pointless.
Thanks!
- Lenguaje dominante
- Python
- Estrellas
- 236
- Forks
- 162
- Merge medio
- 13 h 13 min
- PR fusionados (30 d)
- 23
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Tiene una plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de databricks/databricks-sql-python
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
databricks/databricks-sql-python#1034 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
databricks/databricks-sql-python#1012 ·
Los mantenedores suelen responder en 1 día
-
Token federation: `_exchange_token` raises KeyError('access_token') on error responses, discarding the real failure reasonPosiblemente ocupada @TangoEnSkai la tomó hace 81 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
databricks/databricks-sql-python#904 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
databricks/databricks-sql-python#865 ·
Los mantenedores suelen responder en 1 día
-
engineer-bot
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
databricks/databricks-sql-python#860 · 3 comentarios ·
Los mantenedores suelen responder en 1 día
Todos los issues de databricks/databricks-sql-python
Issues similares
-
[fuzz][shape] shape in pop_epochAbiertofuzz fuzz-unconfirmed
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
Los mantenedores suelen responder en 1 día
-
Switch to ruffAbierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 65/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 67/100
Los mantenedores suelen responder en 1 día
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 65/100
Qiskit/qiskit-aer#2533 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 64/100
etesync/etesync-dav#376 ·