Request: first-class representation of file-backed datasets (e.g. Parquet) in Dataset.source (or adjacent fields)
Maintainer thường phản hồi trong vòng 1 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức phù hợp với người mới
- 30/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Cần làm rõ
- Mức độ hoạt động
- Ít trao đổi
- Công nghệ
- sql
- Lĩnh vực
- data-engineering
Hướng nghiên cứu
Issue không nêu tên tệp, test hoặc các điểm vào của phần triển khai. Hãy bắt đầu bằng việc xem xét các định nghĩa hiện tại của Dataset.source và custom_extensions, sau đó kiểm tra ba hướng được đề xuất và mọi cuộc thảo luận trước đây của nhóm làm việc; công việc được xem là hoàn tất khi có một biểu diễn được thống nhất hoặc một profile được lập tài liệu cho các dataset dựa trên tệp.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Summary
Today the OSI core spec describes Dataset.source as a reference to an underlying physical table/view (e.g. database.schema.table) or query. That model fits warehouse-centric semantics well but does not describe file- or object-store-backed relations (Parquet, directories/globs, file: / s3: / gs: URIs, etc.), which are common in analytical and lakehouse workflows.
This issue asks whether the working group has already discussed file-backed / columnar-file sources, and if so, what direction was considered. If not, we would like to explore first-class (core or well-documented optional profile) support so documents are portable without overloading source or relying only on opaque custom_extensions.
Motivation / use cases
- Local development and tests: point a semantic dataset at Parquet on disk without a catalog.
- Object storage: datasets backed by s3://, gs://, or HTTPS without a SQL warehouse name.
- Interoperability: engines that compile OSI to Substrait / SQL often need a stable logical name for the dataset while physical scan targets are resolved separately; the spec could make that split explicit.
- Consistency: avoids each implementation inventing incompatible conventions inside COMMON custom extensions.
Current spec (as we read it)
- Core source is a single string, with examples in database.schema.table form.
- Extensibility exists via custom_extensions / Vendor, which works but does not give a shared, validated shape for “this dataset is Parquet at these locations.”
Questions for the working group
- Has file-backed / columnar-file (especially Parquet) been discussed? If yes, pointers to notes or prior issues would be appreciated.
- Is the intent that source remain strictly warehouse-style, with all file semantics in extensions, or is there appetite to extend the core model?
- Would the WG prefer:
A) Extending Dataset with optional structured fields (e.g. physical / storage with kind, locations[], format), while keeping source as the logical relation id for queries; or
B) A documented optional profile (separate schema or appendix) for “file datasets” without changing minimal core; or
C) Strengthening guidance + JSON schema for a specific COMMON (or new vendor) extension payload so all implementations converge.
Sketch of a possible shape (for discussion only)
Not a proposal to adopt verbatim, only to illustrate the gap:
- name: logical dataset id (unchanged).
- source: stable logical relation name used in generated SQL/Substrait (e.g. qualified name), or explicit split between “logical id” and “physical” if the WG wants that separation.
- Optional storage descriptor: e.g. format parquet, one or more URIs (files, globs, prefixes), optional partition / read hints.
Happy to help refine this with implementer feedback (e.g. from tools that emit OSI and target Arrow/DataFusion/Iceberg).
- Ngôn ngữ chính
- Python
- Star
- 2.7k
- Fork
- 353
- Merge trung bình
- 3 ngày 19 giờ
- Pull request đã merge (30 ngày)
- 86
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của apache/ossie
-
needs-triage
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
Maintainer thường phản hồi trong vòng 1 ngày
-
needs-triage
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 52/100
Maintainer thường phản hồi trong vòng 1 ngày
-
validation: field reference resolution is case-insensitive but name uniqueness is case-sensitiveCó thể đã có người làm @MikeNitsenko đã nhận 6 ngày trước. Đang mởneeds-triage
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
Maintainer thường phản hồi trong vòng 1 ngày
-
needs-triage
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
apache/ossie#710 · 6 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
needs-triage
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
apache/ossie#707 · 3 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
Issue tương tự
-
HassSetVolumeRelative reports no targets (empty success list) although the volume was changedĐang mởintegration: media_player
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
home-assistant/core#193344 · 2 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 82/100
daniel-ospina/tortoise#13607 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
documentation priority: medium
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 66/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 1/5 1-3 giờ Mức phù hợp với người mới 66/100
Robin-IA/Congressional-Letters-Dev#1347 ·
Maintainer thường phản hồi trong vòng 1 ngày