feature: let Python and Java turn on non-reusable field IDs, including at dataset creation

Đang mở
#10,684 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 2 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
52/100
Loại issue
Tính năng
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
java, python, rust
Lĩnh vực
data-engineering

Hướng nghiên cứu

Start by reading Dataset::migrate_to_non_reusable_field_ids and the Python and Java bindings for it, then trace WriteParams and the lance.write_dataset entry point. Check the existing stable-row-ID option for how create-time flags are exposed. Done means Python and Java can invoke the migration, and new datasets can enable non-reusable field IDs at creation; run the relevant binding and dataset-creation tests.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

feature

Field IDs are reused by default. When the highest-ID column is dropped and its files go away, the next column added gets the same ID. On pylance 14.0.2:

import lance
import pyarrow as pa

ds = lance.write_dataset(pa.table({"a": [1, 2, 3]}), "/tmp/t.lance")
ds.add_columns({"b": "a * 10"})
ds.drop_columns(["b"])
ds.add_columns({"c": "a * 7"})
print([(f.name(), f.id()) for f in ds.lance_schema.fields()])
# [('a', 0), ('c', 1)]: c gets b's old ID

So a field ID can't serve as a column's identity for a writer that stages files before a schema change and commits them after it. For example, a long-running column backfill writes DataFiles for field 1 and commits them with DataReplacement. If b is dropped and re-added in between, the staged files fill the new column with the old column's values. #9436 catches the drop when it falls inside the commit's rebase window. But a writer that checks other writers' commits itself and then commits at the latest version never shows the drop to the conflict resolver, and its staged field IDs name a column that exists.

#8658 solves this with non-reusable field IDs, but only Rust can turn them on:

  • Dataset::migrate_to_non_reusable_field_ids has no Python or Java binding. Both bindings honor the contract once it is on.
  • A dataset can't be created with it on, the way WriteParams::enable_stable_row_ids works for stable row IDs. A new dataset has no older writers, so the migration's warning about clients that ignore writer feature flags doesn't apply to it.

Ask

  1. Python and Java bindings for migrate_to_non_reusable_field_ids.
  2. A create-time option, for example WriteParams::enable_non_reusable_field_ids and lance.write_dataset(..., enable_non_reusable_field_ids=True).
  3. Later, possibly, making it the default for new datasets. Lance writers from before 14.0 don't know FLAG_NON_REUSABLE_FIELD_IDS and refuse to write to a dataset that sets it (checked on v10.0.0), so older clients can't reuse IDs on such a dataset.
Ngôn ngữ chính
Rust
Star
7.3k
Fork
929
Merge trung bình
2 ngày 22 giờ
Pull request đã merge (30 ngày)
572

Chuẩn bị môi trường

Mở trong Codespaces

Khởi chạy dev container của dự án ngay trên trình duyệt, bằng tài khoản GitHub của bạn.

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của lance-format/lance

Tất cả issue của lance-format/lance

Issue tương tự

Thêm issue về Rust

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.