feature: repack fragments whose files carry many dead column slots
Maintainer thường phản hồi trong vòng 2 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức phù hợp với người mới
- 15/100
Hướng nghiên cứu
Start with Dataset::column_layout_stats and its dead_slot_ratio, then the compact_files planner that uses max_data_files_per_fragment, and see how UpdateMode::RewriteColumns and drop_columns leave dead slots. The open questions are design decisions (slots vs bytes, one-file rewrites, option naming and combination), so the first step is a maintainer decision, not a patch. Done means those choices are settled in the issue and a follow-up scopes the implementation.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Motivation
#9604 adds column repack tasks to compact_files. The file count is the only trigger: a fragment is repacked when it holds its columns in more than max_data_files_per_fragment data files. In review, a question came up about other conditions that should plan a repack, such as the dead weight an in-place column rewrite leaves behind.
Two operations leave slots that are dead in the latest version but sit in a file that still holds live columns:
- an in-place rewrite of a column that shares a file with others (
UpdateMode::RewriteColumns, or aDataReplacementwithdata_change: true) tombstones it in that file and writes the new values to a new file; drop_columnsleaves the dropped field's id in the file that held it.
Dataset::column_layout_stats already reports this per fragment as dead_slot_ratio. Today those bytes are reclaimed only when something else rewrites the fragment, when a repack happens to empty the file, or, for a file holding spilled row lineage next to user columns that are all dead, by the existing rewrite trigger for that case.
Open questions
- Slots or bytes. The manifest records only whole-file sizes, so the ratio counts dead slots, not dead bytes: a dead
int32column and a dead 1024-dim embedding move it by about the same amount. Per-column sizes would mean reading file metadata at plan time, which the planner avoids today, or recording them in the manifest. - One-file rewrites. A repack only merges files it can empty, at least two at a time, so every task lowers the file count. Reclaiming a dead slot in a file that keeps live columns takes a task that rewrites that one file. The new file holds no dead slots, so the trigger cannot fire on it again.
- Options. A name and default (say
max_dead_slot_ratio, off by default), how it combines withmax_data_files_per_fragmentin one task, and whether a fragment that also qualifies for a rewrite (deletions, overlays) should simply be rewritten.
- Ngôn ngữ chính
- Rust
- Star
- 7.3k
- Fork
- 929
- Merge trung bình
- 2 ngày 22 giờ
- Pull request đã merge (30 ngày)
- 572
Chuẩn bị môi trường
Khởi chạy dev container của dự án ngay trên trình duyệt, bằng tài khoản GitHub của bạn.
- Có Dockerfile hoặc tệp Docker Compose
- Không có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của lance-format/lance
-
bug(python): read_transaction raises TypeError on a Rewrite with rewritten indicesCó thể đã có người làm @Borg93 đã nhận hôm nay. Đang mởbug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
lance-format/lance#11117 ·
Maintainer thường phản hồi trong vòng 2 ngày
-
bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
lance-format/lance#10782 ·
Maintainer thường phản hồi trong vòng 2 ngày
-
Upgrade DataFusion for the unparser stack-overflow fixCó thể làm lại được Pull request cho issue này đã bị đóng mà không được merge. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
lance-format/lance#8225 ·
Maintainer thường phản hồi trong vòng 2 ngày
-
enhancement
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 84/100
lance-format/lance#6425 · 2 bình luận ·
Maintainer thường phản hồi trong vòng 2 ngày
-
Expose compute_pq_distanceCó thể làm lại được Pull request cho issue này đã bị đóng mà không được merge. Đang mởenhancement
Độ khó 1/5 1-3 giờ Mức phù hợp với người mới 62/100
lance-format/lance#5675 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 2 ngày
Tất cả issue của lance-format/lance
Issue tương tự
-
area:cli area:security bug priority:medium
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
rtk-ai/rtk#5127 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
status: new topic: ga4gh-sdk type: bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
Maintainer thường phản hồi trong vòng 1 ngày
-
comp-rbac
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
ClickHouse/ClickHouse#131875 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100
Maintainer thường phản hồi trong vòng 1 ngày
-
`gws auth login` keeps the old token cache, so API calls use a token from the previous grantĐang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 80/100
googleworkspace/cli#984 ·
Maintainer thường phản hồi trong vòng 1 ngày