Request: first-class representation of file-backed datasets (e.g. Parquet) in Dataset.source (or adjacent fields)

オープン
#104 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る

メンテナーはふだん 1 日以内に返信

まだ誰も着手していません。

評価

難易度
5/5
見積もり時間
1週間以上
初心者へのやさしさ
30/100
issue の種類
機能追加
明瞭さ
説明が足りない
活発さ
静か
技術スタック
sql

調査の方向性

この issue には、ファイル、テスト、実装のエントリポイントが記載されていません。まず現在の Dataset.source と custom_extensions の定義を確認し、その後、提案されている3つの方向性と、これまでのワーキンググループでの議論を調査してください。ファイルベースの datasets について、合意された表現または文書化されたプロファイルがあれば完了です。

索引モデルが issue の本文から書いたものです。

説明

Summary
Today the OSI core spec describes Dataset.source as a reference to an underlying physical table/view (e.g. database.schema.table) or query. That model fits warehouse-centric semantics well but does not describe file- or object-store-backed relations (Parquet, directories/globs, file: / s3: / gs: URIs, etc.), which are common in analytical and lakehouse workflows.

This issue asks whether the working group has already discussed file-backed / columnar-file sources, and if so, what direction was considered. If not, we would like to explore first-class (core or well-documented optional profile) support so documents are portable without overloading source or relying only on opaque custom_extensions.

Motivation / use cases

  • Local development and tests: point a semantic dataset at Parquet on disk without a catalog.
  • Object storage: datasets backed by s3://, gs://, or HTTPS without a SQL warehouse name.
  • Interoperability: engines that compile OSI to Substrait / SQL often need a stable logical name for the dataset while physical scan targets are resolved separately; the spec could make that split explicit.
  • Consistency: avoids each implementation inventing incompatible conventions inside COMMON custom extensions.

Current spec (as we read it)

  • Core source is a single string, with examples in database.schema.table form.
  • Extensibility exists via custom_extensions / Vendor, which works but does not give a shared, validated shape for “this dataset is Parquet at these locations.”

Questions for the working group

  1. Has file-backed / columnar-file (especially Parquet) been discussed? If yes, pointers to notes or prior issues would be appreciated.
  2. Is the intent that source remain strictly warehouse-style, with all file semantics in extensions, or is there appetite to extend the core model?
  3. Would the WG prefer:
    A) Extending Dataset with optional structured fields (e.g. physical / storage with kind, locations[], format), while keeping source as the logical relation id for queries; or
    B) A documented optional profile (separate schema or appendix) for “file datasets” without changing minimal core; or
    C) Strengthening guidance + JSON schema for a specific COMMON (or new vendor) extension payload so all implementations converge.

Sketch of a possible shape (for discussion only)
Not a proposal to adopt verbatim, only to illustrate the gap:

  • name: logical dataset id (unchanged).
  • source: stable logical relation name used in generated SQL/Substrait (e.g. qualified name), or explicit split between “logical id” and “physical” if the WG wants that separation.
  • Optional storage descriptor: e.g. format parquet, one or more URIs (files, globs, prefixes), optional partition / read hints.

Happy to help refine this with implementer feedback (e.g. from tools that emit OSI and target Arrow/DataFusion/Iceberg).

主要言語
Python
スター
2.7k
フォーク
353
平均マージ
3日 19時間
マージ済み PR(30日)
86

環境構築

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

apache/ossie のほかの issue

apache/ossie の issue をすべて見る

似ている issue

Python の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。