aws.XXX options are not recognized in SQL API for CREATE EXTERNAL TABLE with AWS S3 location

Geschlossen

#970 erstellt am 11.12.2024 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit: 3/5
Geschätzter Aufwand: 1-2 Tage
Anfängerfreundlichkeit: 48/100

Issue-Typ: Bug
Klarheit: Klar beschrieben
Aktivitätsstatus: Veraltet
Tech-Stack: aws, python, sql
Bereich: api, cloud, databases

Rechercherichtung

Beginnen Sie damit, die gemeldete Python-Reproduktion für CREATE EXTERNAL TABLE mit den AWS-Optionen auszuführen, und vergleichen Sie sie anschließend mit dem im Issue beschriebenen funktionierenden register_object_store- und register_parquet-Pfad. Als abgeschlossen gilt die Aufgabe, wenn die SQL API die aws.xxx-Optionen akzeptiert und denselben S3-parquet-Speicherort lesen kann, wie es für DataFusion 42.0.0 erwartet wird.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

bug

Describe the bug
Hi

I was trying to create external table from AWS S3 using examples from Datafusion CLI docs and SQL DDL docs, see To Reproduce section below. But looks like AWS-specific options for external tables doesn't work with SQL API in the same way as it described in CLI docs

Exception: DataFusion error: Configuration("Could not find config namespace \"aws\"")

I can successfully register and read the same parquet with the same credentials via register_object_store + register_parquet functions, so there's no problem with the data or S3 connection

To Reproduce

import datafusion

ctx = datafusion.SessionContext()

raw_data_df = ctx.sql(f"""
    create external table raw_data
    stored as parquet
    options
    (
        'aws.access_key_id' '***',
        'aws.secret_access_key' '***',
        'aws.region' 'eu-central-1'
    ) 
    location 's3://some-bucket/some-folder/'
""")

raw_data_df.show()

Expected behavior
create external table command works with aws.xxx options

Additional context
v 42.0.0

Vorherrschende Sprache: Python
Sterne: 605
Forks: 176
Ø Merge: 1 T. 23 Std.
Gemergte PRs (30 T.): 8

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Erste Schritte

Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
Forken Sie das Repository und arbeiten Sie in einem Branch.
Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus apache/datafusion-python

Allow "str" for function arguments that accept "col" expressions Offen

enhancement

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 70/100

apache/datafusion-python#1757 · Erstellt am 22.9.2026
Rewrite the "Encode metadata, not a handle to a live object" section Offen

documentation

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100

apache/datafusion-python#1726 · Erstellt am 11.9.2026
Missing docstring examples in the `unparser` module Offen

Schwierigkeit 2/5 Ein halber Tag Anfängerfreundlichkeit 88/100

apache/datafusion-python#1691 · Erstellt am 16.8.2026
Build fails against DataFusion 54.1.0 due to new `schema` field on `RecursiveQuery` Offen

bug

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100

apache/datafusion-python#1644 · Erstellt am 24.7.2026
Allow extension libraries to contribute object stores over FFI Offen

enhancement

Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 30/100

apache/datafusion-python#1737 · Erstellt am 15.9.2026

Alle Issues in apache/datafusion-python