aws.XXX options are not recognized in SQL API for CREATE EXTERNAL TABLE with AWS S3 location

已關閉

#970 建立於 2024年12月11日 0 則留言 0 個 reaction 已指派 0 人在 GitHub 檢視

還沒有人認領這個 Issue。

評估

難度: 3/5
預估耗時: 1-2 天
新手友好度: 48/100

Issue 類型: 缺陷
描述清晰度: 描述清楚
活躍度: 停滯
技術堆疊: aws, python, sql
領域: api, cloud, databases

研究方向

先執行使用 AWS 選項的 CREATE EXTERNAL TABLE 已回報 Python 重現，然後將其與 issue 中描述的可正常運作的 register_object_store 和 register_parquet 路徑進行比較。完成的標準是 SQL API 接受 aws.xxx 選項，並且能夠讀取相同的 S3 parquet 位置，這正是 DataFusion 42.0.0 的預期行為。

由索引模型根據 Issue 內容生成。

描述

bug

Describe the bug
Hi

I was trying to create external table from AWS S3 using examples from Datafusion CLI docs and SQL DDL docs, see To Reproduce section below. But looks like AWS-specific options for external tables doesn't work with SQL API in the same way as it described in CLI docs

Exception: DataFusion error: Configuration("Could not find config namespace \"aws\"")

I can successfully register and read the same parquet with the same credentials via register_object_store + register_parquet functions, so there's no problem with the data or S3 connection

To Reproduce

import datafusion

ctx = datafusion.SessionContext()

raw_data_df = ctx.sql(f"""
    create external table raw_data
    stored as parquet
    options
    (
        'aws.access_key_id' '***',
        'aws.secret_access_key' '***',
        'aws.region' 'eu-central-1'
    ) 
    location 's3://some-bucket/some-folder/'
""")

raw_data_df.show()

Expected behavior
create external table command works with aws.xxx options

Additional context
v 42.0.0

主要語言: Python
星號: 605
分支: 176
平均合併: 1 天 23 小時
30 天內合併 PR: 8

貢獻指南

這個儲存庫沒有索引到貢獻指南

從這裡開始

先讀完整個 Issue，再讀專案的貢獻指南。
在 Issue 下留言說明你要接手 —— 這能避免兩個人做同樣的事。
Fork 儲存庫，在一個分支上完成修改。
送出 Pull Request，並在描述裡引用這個 Issue 編號。

apache/datafusion-python 的其他 Issue

Allow "str" for function arguments that accept "col" expressions 未關閉

enhancement

難度 2/5 1-3 小時新手友好度 70/100

apache/datafusion-python#1757 · 2026年9月22日建立
Rewrite the "Encode metadata, not a handle to a live object" section 未關閉

documentation

難度 2/5 1-3 小時新手友好度 72/100

apache/datafusion-python#1726 · 2026年9月11日建立
Missing docstring examples in the `unparser` module 未關閉

難度 2/5 半天新手友好度 88/100

apache/datafusion-python#1691 · 2026年8月16日建立
Build fails against DataFusion 54.1.0 due to new `schema` field on `RecursiveQuery` 未關閉

bug

難度 2/5 1-3 小時新手友好度 78/100

apache/datafusion-python#1644 · 2026年7月24日建立
Allow extension libraries to contribute object stores over FFI 未關閉

enhancement

難度 5/5 一週以上新手友好度 30/100

apache/datafusion-python#1737 · 2026年9月15日建立

查看 apache/datafusion-python 的全部 Issue

相似的 Issue

[essnmx] Fix typo in NXLauetof application definition 未關閉

essnmx good first issue

難度 1/5 1 小時以內新手友好度 95/100

scipp/ess#760 · 2026年9月23日建立
[Feature] 奇物选择添加优先级未關閉

難度 2/5 1-3 小時新手友好度 65/100

syfoud/Simulated_Scepter#174 · 2026年9月23日建立
garak adapter grades a NaN detector score as PASS 未關閉

難度 2/5 1-3 小時新手友好度 75/100

Giskard-AI/giskard-oss#2840 · 1 則留言 · 2026年9月23日建立
A claim comment carrying the issue number is silently declined while the workflow reports success 未關閉

area: repo bug perceived difficulty: 2

難度 2/5 1-3 小時新手友好度 70/100

Nitjsefnie-Harness-Commons/daedalus#926 · 2026年9月23日建立
`IOCExtractor` always fails: `ioc_analyzer.build()` takes 1 argument but the agent dispatcher passes 2 未關閉

難度 2/5 1-3 小時新手友好度 75/100

yeti-platform/yeti#1380 · 2026年9月23日建立

更多 Python Issue