aws.XXX options are not recognized in SQL API for CREATE EXTERNAL TABLE with AWS S3 location

已关闭

#970 创建于 2024年12月11日 0 条评论 0 个 reaction 已指派 0 人在 GitHub 查看

还没有人认领这个 Issue。

评估

难度: 3/5
预计耗时: 1-2 天
新手友好度: 48/100

Issue 类型: 缺陷
描述清晰度: 描述清楚
活跃度: 停滞
技术栈: aws, python, sql
领域: api, cloud, databases

调研方向

首先运行使用 AWS 选项执行 CREATE EXTERNAL TABLE 的已报告 Python 复现，然后将其与 issue 中描述的可正常工作的 register_object_store 和 register_parquet 路径进行比较。完成的标准是 SQL API 接受 aws.xxx 选项，并且能够读取相同的 S3 parquet 位置，这正是 DataFusion 42.0.0 的预期行为。

由索引模型根据 Issue 内容生成。

描述

bug

Describe the bug
Hi

I was trying to create external table from AWS S3 using examples from Datafusion CLI docs and SQL DDL docs, see To Reproduce section below. But looks like AWS-specific options for external tables doesn't work with SQL API in the same way as it described in CLI docs

Exception: DataFusion error: Configuration("Could not find config namespace \"aws\"")

I can successfully register and read the same parquet with the same credentials via register_object_store + register_parquet functions, so there's no problem with the data or S3 connection

To Reproduce

import datafusion

ctx = datafusion.SessionContext()

raw_data_df = ctx.sql(f"""
    create external table raw_data
    stored as parquet
    options
    (
        'aws.access_key_id' '***',
        'aws.secret_access_key' '***',
        'aws.region' 'eu-central-1'
    ) 
    location 's3://some-bucket/some-folder/'
""")

raw_data_df.show()

Expected behavior
create external table command works with aws.xxx options

Additional context
v 42.0.0

主要语言: Python
星标: 605
派生: 176
平均合并: 1 天 23 小时
30 天内合并 PR: 8

贡献指南

这个仓库没有索引到贡献指南

从这里开始

先读完整个 Issue，再读项目的贡献指南。
在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
Fork 仓库，在一个分支上完成修改。
提交 Pull Request，并在描述里引用这个 Issue 编号。

apache/datafusion-python 的其他 Issue

Allow "str" for function arguments that accept "col" expressions 未关闭

enhancement

难度 2/5 1-3 小时新手友好度 70/100

apache/datafusion-python#1757 · 2026年9月22日创建
Rewrite the "Encode metadata, not a handle to a live object" section 未关闭

documentation

难度 2/5 1-3 小时新手友好度 72/100

apache/datafusion-python#1726 · 2026年9月11日创建
Missing docstring examples in the `unparser` module 未关闭

难度 2/5 半天新手友好度 88/100

apache/datafusion-python#1691 · 2026年8月16日创建
Build fails against DataFusion 54.1.0 due to new `schema` field on `RecursiveQuery` 未关闭

bug

难度 2/5 1-3 小时新手友好度 78/100

apache/datafusion-python#1644 · 2026年7月24日创建
Allow extension libraries to contribute object stores over FFI 未关闭

enhancement

难度 5/5 一周以上新手友好度 30/100

apache/datafusion-python#1737 · 2026年9月15日创建

查看 apache/datafusion-python 的全部 Issue

相似的 Issue

create_predictable_zip member order differs on Windows for directory input 未关闭

bug

难度 2/5 1-3 小时新手友好度 90/100

learningequality/ricecooker#747 · 2026年9月23日创建
[Anon] Mechanicum: skitarii as mechanicum allies rule 未关闭

难度 2/5 1-3 小时新手友好度 68/100

BSData/horus-heresy-3rd-edition#3171 · 2026年9月23日创建
CHANGELOG.md entries are too long to maintain, and their length is what makes every PR conflict expensive 未关闭

enhancement

难度 2/5 1-3 小时新手友好度 72/100

lanl/PyBNF#809 · 2026年9月23日创建
[Bug]: PrevNextNodePostprocessor loses retrieved scores when neighbor windows overlap 未关闭

难度 2/5 1-3 小时新手友好度 76/100

run-llama/llama_index#23199 · 2026年9月23日创建
Cannot export point cloud without radius attribute 未关闭

难度 2/5 1-3 小时新手友好度 84/100

KhronosGroup/glTF-Blender-IO#2769 · 2026年9月23日创建

更多 Python Issue