feature: let Python and Java turn on non-reusable field IDs, including at dataset creation
Maintainer thường phản hồi trong vòng 2 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 52/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Khá rõ ràng
- Mức độ hoạt động
- Sôi nổi
- Lĩnh vực
- data-engineering
Hướng nghiên cứu
Start by reading Dataset::migrate_to_non_reusable_field_ids and the Python and Java bindings for it, then trace WriteParams and the lance.write_dataset entry point. Check the existing stable-row-ID option for how create-time flags are exposed. Done means Python and Java can invoke the migration, and new datasets can enable non-reusable field IDs at creation; run the relevant binding and dataset-creation tests.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Field IDs are reused by default. When the highest-ID column is dropped and its files go away, the next column added gets the same ID. On pylance 14.0.2:
import lance
import pyarrow as pa
ds = lance.write_dataset(pa.table({"a": [1, 2, 3]}), "/tmp/t.lance")
ds.add_columns({"b": "a * 10"})
ds.drop_columns(["b"])
ds.add_columns({"c": "a * 7"})
print([(f.name(), f.id()) for f in ds.lance_schema.fields()])
# [('a', 0), ('c', 1)]: c gets b's old ID
So a field ID can't serve as a column's identity for a writer that stages files before a schema change and commits them after it. For example, a long-running column backfill writes DataFiles for field 1 and commits them with DataReplacement. If b is dropped and re-added in between, the staged files fill the new column with the old column's values. #9436 catches the drop when it falls inside the commit's rebase window. But a writer that checks other writers' commits itself and then commits at the latest version never shows the drop to the conflict resolver, and its staged field IDs name a column that exists.
#8658 solves this with non-reusable field IDs, but only Rust can turn them on:
Dataset::migrate_to_non_reusable_field_idshas no Python or Java binding. Both bindings honor the contract once it is on.- A dataset can't be created with it on, the way
WriteParams::enable_stable_row_idsworks for stable row IDs. A new dataset has no older writers, so the migration's warning about clients that ignore writer feature flags doesn't apply to it.
Ask
- Python and Java bindings for
migrate_to_non_reusable_field_ids. - A create-time option, for example
WriteParams::enable_non_reusable_field_idsandlance.write_dataset(..., enable_non_reusable_field_ids=True). - Later, possibly, making it the default for new datasets. Lance writers from before 14.0 don't know
FLAG_NON_REUSABLE_FIELD_IDSand refuse to write to a dataset that sets it (checked on v10.0.0), so older clients can't reuse IDs on such a dataset.
- Ngôn ngữ chính
- Rust
- Star
- 7.3k
- Fork
- 929
- Merge trung bình
- 2 ngày 22 giờ
- Pull request đã merge (30 ngày)
- 572
Chuẩn bị môi trường
Khởi chạy dev container của dự án ngay trên trình duyệt, bằng tài khoản GitHub của bạn.
- Có Dockerfile hoặc tệp Docker Compose
- Không có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của lance-format/lance
-
bug(python): read_transaction raises TypeError on a Rewrite with rewritten indicesCó thể đã có người làm @Borg93 đã nhận hôm nay. Đang mởbug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
lance-format/lance#11117 ·
Maintainer thường phản hồi trong vòng 2 ngày
-
bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
lance-format/lance#10782 ·
Maintainer thường phản hồi trong vòng 2 ngày
-
Upgrade DataFusion for the unparser stack-overflow fixCó thể làm lại được Pull request cho issue này đã bị đóng mà không được merge. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
lance-format/lance#8225 ·
Maintainer thường phản hồi trong vòng 2 ngày
-
enhancement
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 84/100
lance-format/lance#6425 · 2 bình luận ·
Maintainer thường phản hồi trong vòng 2 ngày
-
Expose compute_pq_distanceCó thể làm lại được Pull request cho issue này đã bị đóng mà không được merge. Đang mởenhancement
Độ khó 1/5 1-3 giờ Mức phù hợp với người mới 62/100
lance-format/lance#5675 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 2 ngày
Tất cả issue của lance-format/lance
Issue tương tự
-
area:cli area:security bug priority:medium
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
rtk-ai/rtk#5127 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
status: new topic: ga4gh-sdk type: bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
Maintainer thường phản hồi trong vòng 1 ngày
-
comp-rbac
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
ClickHouse/ClickHouse#131875 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100
Maintainer thường phản hồi trong vòng 1 ngày
-
`gws auth login` keeps the old token cache, so API calls use a token from the previous grantĐang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 80/100
googleworkspace/cli#984 ·
Maintainer thường phản hồi trong vòng 1 ngày