ExecuteMany performance is insanely bad
Mantenedores costumam responder em até 1 dia
Ninguém assumiu esta issue ainda.
Avaliação
- Dificuldade
- 5/5
- Tempo estimado
- Mais de uma semana
- Facilidade para iniciantes
- 20/100
- Tipo de issue
- Funcionalidade
- Clareza
- Precisa de esclarecimento
- Status de atividade
- Estagnada
- Domínio
- data-engineering, databases
Direção de pesquisa
Comece localizando a implementação de executemany do conector e lendo o comportamento documentado que a descreve como um loop ingênuo. Investigue como uma única instrução SQL usando VALUES(...) poderia oferecer suporte ao batching solicitado para gravações em uma tabela Delta e defina a conclusão com base na melhoria de desempenho para carregamentos de dataframes não triviais.
Escrita pelo modelo de indexação a partir do texto da issue.
Descrição
I know that the documentation makes it clear that executemany is a naive for loop:
No optimizations of the query (like batching) will be performed.
But it's 2025 and please have a more optimized executemany that just issues a single SQL statement using VALUES(...) or something so this is actually usable in a data pipeline. Otherwise, trying to use the databricks SQL connector to write any non-trivial dataframe to a delta table is pointless.
Thanks!
- Linguagem predominante
- Python
- Estrelas
- 236
- Forks
- 162
- Merge médio
- 13h 13min
- PRs com merge (30d)
- 23
Preparar o ambiente
- Sem Dockerfile nem arquivo Docker Compose
- Tem um modelo de pull request
- Ler o guia de contribuição
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de databricks/databricks-sql-python
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 72/100
databricks/databricks-sql-python#1034 ·
Mantenedores costumam responder em até 1 dia
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 72/100
databricks/databricks-sql-python#1012 ·
Mantenedores costumam responder em até 1 dia
-
Token federation: `_exchange_token` raises KeyError('access_token') on error responses, discarding the real failure reasonTalvez já em andamento @TangoEnSkai assumiu há 81 dias. Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 76/100
databricks/databricks-sql-python#904 ·
Mantenedores costumam responder em até 1 dia
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 84/100
databricks/databricks-sql-python#865 ·
Mantenedores costumam responder em até 1 dia
-
engineer-bot
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 76/100
databricks/databricks-sql-python#860 · 3 comentários ·
Mantenedores costumam responder em até 1 dia
Todas as issues de databricks/databricks-sql-python
Issues semelhantes
-
component/fhir type/bug
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 82/100
OpenConceptLab/ocl_issues#3026 ·
-
ODS datetime imports reject fractional seconds and exports drop themTalvez já em andamento @IlyaKhalafi assumiu hoje. Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 70/100
Mantenedores costumam responder em até 1 dia
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 78/100
TauricResearch/TradingAgents#1693 ·
Mantenedores costumam responder em até 2 dias
-
requests support
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 67/100
Mantenedores costumam responder em até 2 dias
-
match(numeric=True) compares numbers rounded to 5 significant digits, so 187503 matches 187500Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 78/100
UKGovernmentBEIS/inspect_ai#6537 ·
Mantenedores costumam responder em até 1 dia