ExecuteMany performance is insanely bad
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 初心者へのやさしさ
- 20/100
- issue の種類
- 機能追加
- 明瞭さ
- 説明が足りない
- 活発さ
- 停滞
調査の方向性
まず、connector の executemany 実装を見つけ、それを naive loop として説明している文書化された動作を読んでください。VALUES(...) を使用する単一の SQL ステートメントで、Delta テーブルへの書き込みに対して要求された batching をどのようにサポートできるかを調査し、完了の基準を、実用的なサイズの dataframe のロードにおけるパフォーマンスの向上として定義してください。
索引モデルが issue の本文から書いたものです。
説明
I know that the documentation makes it clear that executemany is a naive for loop:
No optimizations of the query (like batching) will be performed.
But it's 2025 and please have a more optimized executemany that just issues a single SQL statement using VALUES(...) or something so this is actually usable in a data pipeline. Otherwise, trying to use the databricks SQL connector to write any non-trivial dataframe to a delta table is pointless.
Thanks!
- 主要言語
- Python
- スター
- 236
- フォーク
- 162
- 平均マージ
- 13時間 13分
- マージ済み PR（30日）
- 23
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートあり
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
databricks/databricks-sql-python のほかの issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
databricks/databricks-sql-python#1034 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
databricks/databricks-sql-python#1012 ·
メンテナーはふだん 1 日以内に返信
-
Token federation: `_exchange_token` raises KeyError('access_token') on error responses, discarding the real failure reason対応中かも @TangoEnSkai が 81 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
databricks/databricks-sql-python#904 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
databricks/databricks-sql-python#865 ·
メンテナーはふだん 1 日以内に返信
-
engineer-bot
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
databricks/databricks-sql-python#860 · コメント 3 件 ·
メンテナーはふだん 1 日以内に返信
databricks/databricks-sql-python の issue をすべて見る
似ている issue
-
fuzz fuzz-unconfirmed
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
メンテナーはふだん 1 日以内に返信
-
Switch to ruffオープン
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 67/100
メンテナーはふだん 1 日以内に返信
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
Qiskit/qiskit-aer#2533 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 64/100
etesync/etesync-dav#376 ·