DB engine for pandas: sql.connect or sqlalchemy

Offen

#476 erstellt am 27.11.2024 1 Kommentar 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit: 4/5
Geschätzter Aufwand: 3-5 Tage
Anfängerfreundlichkeit: 25/100

Issue-Typ: Dokumentation
Klarheit: Muss geklärt werden
Aktivitätsstatus: Veraltet
Tech-Stack: pandas, python, sql, sqlalchemy
Bereich: data, databases

Rechercherichtung

Das Issue vergleicht databricks.sql.connect mit SQLAlchemy und pandas.read_sql und berücksichtigt dabei CloudFetch sowie möglichen Serialisierungs-Overhead. Beginne mit der Durchsicht der verknüpften geschlossenen pandas-bezogenen Pull Requests und der Integration von pandas.read_sql. Als erledigt gilt die Dokumentation der empfohlenen API, der Auswirkungen auf die Performance und der Frage, ob beide Pfade CloudFetch beibehalten.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

Hello,

I was wondering what's the best practice for using this package with pandas.

It's possible to create a databricks.sql.connect and pass it to pandas.read_sql. This works however it raises

UserWarning: pandas only supports SQLAlchemy connectable (engine/connection) or database string URI or sqlite3 DBAPI2 
connection. Other DBAPI2 objects are not tested. Please consider using SQLAlchemy.

Alternatively it's possible to use SQLAlchemy with a databricks:// URL and pass that to pandas. Doesn't it mean an extra serialization step performance wise though?

What's the recommended way, in particular regarding performance? Would both use CloudFetch for larger queries? I see there are some fixes/improvements done for pandas done in PRs so which API should be used to benefit from those?

Thanks!

cc @kravets-levko

Vorherrschende Sprache: Python
Sterne: 233
Forks: 152
Ø Merge: 21 Std. 5 Min.
Gemergte PRs (30 T.): 10

Beitragsleitfaden

Beitragsleitfaden öffnen

Erste Schritte

Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
Forken Sie das Repository und arbeiten Sie in einem Branch.
Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus databricks/databricks-sql-python

`RedactUrlQueryParamsFilter` crashes with `TypeError: NoneType is not iterable` when MLflow's urllib3 filter runs first Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100

databricks/databricks-sql-python#946 · Erstellt am 09.9.2026
Token federation: `_exchange_token` raises KeyError('access_token') on error responses, discarding the real failure reason Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 76/100

databricks/databricks-sql-python#904 · Erstellt am 12.8.2026
[coverage] Conformance findings: PARAMQUERY-022 Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100

databricks/databricks-sql-python#887 · Erstellt am 03.8.2026
[coverage] Conformance findings: METADATA-035 Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100

databricks/databricks-sql-python#886 · Erstellt am 31.7.2026
reviewer-bot: workflow_dispatch reads default-branch code for explore tools (set REVIEW_CONTENT_ROOT) Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 84/100

databricks/databricks-sql-python#865 · Erstellt am 16.7.2026

Alle Issues in databricks/databricks-sql-python