Editions: gate extension dtypes and support crate-declared families (json)

Đang mở
  • Có gì không ổn?
#548 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
45/100
Loại issue
Tính năng
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
java, rust
Lĩnh vực
backend, data

Hướng nghiên cứu

Start with the edition catalog and VortexWriter.create, then compare the current encoding-only guard with the extension-dtype behavior described in vortex-json/src/editions.rs. Update docs/compatibility.md, ADR 0023, and CLAUDE.md alongside the implementation, including the decision about whether EditionFamily stays closed. Done means schemas with disabled extension dtypes are rejected, the json family and vortex.json behavior are covered, and the built-in JSON decoder rejects non-UTF-8 data.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

enhancement

Rust editions gate extension dtypes as well as encodings, and edition families are no longer a fixed set: optional crates declare their own. vortex-java models neither.

Rust behavior

  • An edition lists its members by component kind, and an extension dtype is one of those kinds (EditionMember::dtype(..)). A writer with an edition policy may emit only members of enabled families, so a schema with an extension dtype outside them is refused.
  • Families are declared per crate. vortex-json/src/editions.rs declares the json family (origin vortex-json) with one draft edition, json2026.08.0, adding the vortex.json dtype. vortex_json::initialize(session) registers the dtype and enables the family together. Being outside core reflects that a reader built without vortex-json cannot resolve vortex.json.

vortex-java today

  1. The edition guard (WriteOptions#editions(), ADR 0023) checks array encodings only, so withEdition(..) lets a schema carry vortex.json or any custom extension id (now easy to register, #530/#547). docs/compatibility.md already notes the catalog models encodings only.
  2. EditionFamily is a closed enum (CORE/PREVIEW/ZSTD), and CLAUDE.md justifies this because a private family carries no real guarantee. Rust now has crate-declared families (json), so the enum is missing one, and the closed-world rationale no longer matches the reference.

To decide

  • Extend the Editions catalog with extension-dtype members and enforce them in the writer's edition guard at VortexWriter.create.
  • Model json (and decide between keeping EditionFamily closed with known Rust families added, and opening it the way Rust does). Update ADR 0023 / CLAUDE.md accordingly.
  • Related: a built-in vortex.json ExtensionDecoder<String> (UTF-8 storage, validate rejecting non-Utf8), so JSON files open without allowUnknown() after #547.

Refs #530

Ngôn ngữ chính
Java
Star
3
Fork
2
Merge trung bình
9 giờ 47 phút
Pull request đã merge (30 ngày)
128

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của dfa1/vortex-java

Tất cả issue của dfa1/vortex-java

Issue tương tự

Thêm issue về Java

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.