aws.XXX options are not recognized in SQL API for CREATE EXTERNAL TABLE with AWS S3 location

クローズ

#970 2024年12月11日に作成コメント 0 件リアクション 0 件担当者 0 名 GitHub で見る

まだ誰も着手していません。

評価

難易度: 3/5
見積もり時間: 1〜2日
初心者へのやさしさ: 48/100

issue の種類: バグ
明瞭さ: 明確に書かれている
活発さ: 停滞
技術スタック: aws, python, sql
領域: api, cloud, databases

調査の方向性

まず、AWS オプションを使った CREATE EXTERNAL TABLE の報告された Python 再現を実行し、次に issue で説明されている動作する register_object_store と register_parquet のパスと比較します。完了とは、DataFusion 42.0.0 で想定されるとおり、SQL API が aws.xxx オプションを受け付け、同じ S3 parquet ロケーションを読み取れることです。

索引モデルが issue の本文から書いたものです。

説明

bug

Describe the bug
Hi

I was trying to create external table from AWS S3 using examples from Datafusion CLI docs and SQL DDL docs, see To Reproduce section below. But looks like AWS-specific options for external tables doesn't work with SQL API in the same way as it described in CLI docs

Exception: DataFusion error: Configuration("Could not find config namespace \"aws\"")

I can successfully register and read the same parquet with the same credentials via register_object_store + register_parquet functions, so there's no problem with the data or S3 connection

To Reproduce

import datafusion

ctx = datafusion.SessionContext()

raw_data_df = ctx.sql(f"""
    create external table raw_data
    stored as parquet
    options
    (
        'aws.access_key_id' '***',
        'aws.secret_access_key' '***',
        'aws.region' 'eu-central-1'
    ) 
    location 's3://some-bucket/some-folder/'
""")

raw_data_df.show()

Expected behavior
create external table command works with aws.xxx options

Additional context
v 42.0.0

主要言語: Python
スター: 605
フォーク: 176
平均マージ: 1日 23時間
マージ済み PR（30日）: 8

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

はじめの一歩

issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
リポジトリをフォークし、ブランチを切って変更します。
issue 番号を参照したプルリクエストを送ります。

apache/datafusion-python のほかの issue

Rewrite the "Encode metadata, not a handle to a live object" section オープン

documentation

難易度 2/5 1〜3時間初心者へのやさしさ 72/100

apache/datafusion-python#1726 · 2026年9月11日に作成
Missing docstring examples in the `unparser` module オープン

難易度 2/5 半日初心者へのやさしさ 88/100

apache/datafusion-python#1691 · 2026年8月16日に作成
Build fails against DataFusion 54.1.0 due to new `schema` field on `RecursiveQuery` オープン

bug

難易度 2/5 1〜3時間初心者へのやさしさ 78/100

apache/datafusion-python#1644 · 2026年7月24日に作成
Allow extension libraries to contribute object stores over FFI オープン

enhancement

難易度 5/5 1週間以上初心者へのやさしさ 30/100

apache/datafusion-python#1737 · 2026年9月15日に作成
CsvReadOptions.null_regex has no effect: matching values are read as literal strings, and fail the read in a numeric column オープン

難易度 3/5 1〜2日初心者へのやさしさ 76/100

apache/datafusion-python#1735 · コメント 1 件 · 2026年9月12日に作成

apache/datafusion-python の issue をすべて見る

似ている issue

create_predictable_zip member order differs on Windows for directory input オープン

bug

難易度 2/5 1〜3時間初心者へのやさしさ 90/100

learningequality/ricecooker#747 · 2026年9月23日に作成
[Anon] Mechanicum: skitarii as mechanicum allies rule オープン

難易度 2/5 1〜3時間初心者へのやさしさ 68/100

BSData/horus-heresy-3rd-edition#3171 · 2026年9月23日に作成
CHANGELOG.md entries are too long to maintain, and their length is what makes every PR conflict expensive オープン

enhancement

難易度 2/5 1〜3時間初心者へのやさしさ 72/100

lanl/PyBNF#809 · 2026年9月23日に作成
[Bug]: PrevNextNodePostprocessor loses retrieved scores when neighbor windows overlap オープン

難易度 2/5 1〜3時間初心者へのやさしさ 76/100

run-llama/llama_index#23199 · 2026年9月23日に作成
Cannot export point cloud without radius attribute オープン

難易度 2/5 1〜3時間初心者へのやさしさ 84/100

KhronosGroup/glTF-Blender-IO#2769 · 2026年9月23日に作成

Python の issue をもっと見る