feature: repack fragments whose files carry many dead column slots
I maintainer di solito rispondono entro 2 giorni
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 15/100
Direzione di ricerca
Start with Dataset::column_layout_stats and its dead_slot_ratio, then the compact_files planner that uses max_data_files_per_fragment, and see how UpdateMode::RewriteColumns and drop_columns leave dead slots. The open questions are design decisions (slots vs bytes, one-file rewrites, option naming and combination), so the first step is a maintainer decision, not a patch. Done means those choices are settled in the issue and a follow-up scopes the implementation.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Motivation
#9604 adds column repack tasks to compact_files. The file count is the only trigger: a fragment is repacked when it holds its columns in more than max_data_files_per_fragment data files. In review, a question came up about other conditions that should plan a repack, such as the dead weight an in-place column rewrite leaves behind.
Two operations leave slots that are dead in the latest version but sit in a file that still holds live columns:
- an in-place rewrite of a column that shares a file with others (
UpdateMode::RewriteColumns, or aDataReplacementwithdata_change: true) tombstones it in that file and writes the new values to a new file; drop_columnsleaves the dropped field's id in the file that held it.
Dataset::column_layout_stats already reports this per fragment as dead_slot_ratio. Today those bytes are reclaimed only when something else rewrites the fragment, when a repack happens to empty the file, or, for a file holding spilled row lineage next to user columns that are all dead, by the existing rewrite trigger for that case.
Open questions
- Slots or bytes. The manifest records only whole-file sizes, so the ratio counts dead slots, not dead bytes: a dead
int32column and a dead 1024-dim embedding move it by about the same amount. Per-column sizes would mean reading file metadata at plan time, which the planner avoids today, or recording them in the manifest. - One-file rewrites. A repack only merges files it can empty, at least two at a time, so every task lowers the file count. Reclaiming a dead slot in a file that keeps live columns takes a task that rewrites that one file. The new file holds no dead slots, so the trigger cannot fire on it again.
- Options. A name and default (say
max_dead_slot_ratio, off by default), how it combines withmax_data_files_per_fragmentin one task, and whether a fragment that also qualifies for a rewrite (deletions, overlays) should simply be rewritten.
- Lingua principale
- Rust
- Stelle
- 7.3k
- Fork
- 929
- Merge medio
- 2g 22h
- PR unite (30g)
- 572
Preparare l'ambiente
Avvia il container di sviluppo del progetto nel browser, con il tuo account GitHub.
- Include un Dockerfile o un file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di lance-format/lance
-
bug(python): read_transaction raises TypeError on a Rewrite with rewritten indicesForse già presa @Borg93 l’ha presa oggi. Apertabug
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
lance-format/lance#11117 ·
I maintainer di solito rispondono entro 2 giorni
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
lance-format/lance#10782 ·
I maintainer di solito rispondono entro 2 giorni
-
Upgrade DataFusion for the unparser stack-overflow fixForse di nuovo libera Una pull request per questa issue è stata chiusa senza essere unita. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
lance-format/lance#8225 ·
I maintainer di solito rispondono entro 2 giorni
-
enhancement
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 84/100
lance-format/lance#6425 · 2 commenti ·
I maintainer di solito rispondono entro 2 giorni
-
Expose compute_pq_distanceForse di nuovo libera Una pull request per questa issue è stata chiusa senza essere unita. Apertaenhancement
Difficoltà 1/5 1-3 ore Idoneità per principianti 62/100
lance-format/lance#5675 · 1 commento ·
I maintainer di solito rispondono entro 2 giorni
Tutte le issue di lance-format/lance
Issue simili
-
comp-rbac
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
ClickHouse/ClickHouse#131875 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
storytold/photocraft#15232 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
forge: fork preflight reads still send `requireCanonical: false`, which Rootstock rejects (-32603)Forse già presa @Ynyesto l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
foundry-rs/foundry#18485 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
bondybondbond/rushcut#238 · 1 commento ·
-
area: app type: bug
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 88/100
I maintainer di solito rispondono entro 1 giorno