merge_insert RewriteColumns lists the join key in fields_modified, withdrawing exact index coverage over the key
I maintainer di solito rispondono entro 2 giorni
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 55/100
Direzione di ricerca
Start by reading select_write_sink and its comment, then trace how MergeInsertWriteMode::RewriteColumns populates Operation::Update::fields_modified and how Transaction::prepare_indices handles rewritten_physical_columns and withdraw_in_place_rewrites. Reproduce the behavior with a BTREE index on the join key and inspect the fragment bitmap after commit. Done when a matched-row rewrite preserves exact index coverage, with tests confirming the behavior.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Summary
A merge_insert with MergeInsertWriteMode::RewriteColumns writes the join key into the patch data file and lists the key's field id in Operation::Update::fields_modified. Transaction::prepare_indices (through rewritten_physical_columns and withdraw_in_place_rewrites) then withdraws every touched fragment from every index over the key. The key values are byte-identical to the stored ones, because the join matched them exactly, and a column patch moves no row, so each row keeps its stable row id. The withdrawn coverage was exact.
The doc comment in select_write_sink already describes this cost ("the patch would reproduce the key column byte for byte, and still cost a full-fragment column file plus the invalidation of every index over the key").
Reproduction (Lance 13.0.0)
- Create a dataset with stable row ids:
id: Utf8(the join key) with a BTREE index,score: Int32, plus any other columns. - Stage
MergeInsertBuilder::try_new(ds, ["id"]),when_matched(UpdateAll),when_not_matched(DoNothing),write_mode(RewriteColumns), with a source of(id, score)that matches some rows. - Observe that
fields_modifiedcontains the field id ofid, and that after commit theidindex'sfragment_bitmapno longer contains the touched fragment.
Removing the key's field id from fields_modified before commit keeps the coverage. Equality lookups on the key then return every row exactly once, with the patched values.
Expected
For RewriteColumns, either do not list the join key in fields_modified, or omit the key from the patch file. Both are correct because the key values cannot change in a matched-row update. The second also saves writing a full-fragment copy of the key column.
Context
Omnigraph stages column patches for narrow updates of wide rows and currently removes the key from fields_modified itself, pinned by a surface test: https://github.com/ModernRelay/omnigraph/pull/1272. An upstream fix would let that adapter go.
- Lingua principale
- Rust
- Stelle
- 7.3k
- Fork
- 929
- Merge medio
- 2g 22h
- PR unite (30g)
- 572
Preparare l'ambiente
Avvia il container di sviluppo del progetto nel browser, con il tuo account GitHub.
- Include un Dockerfile o un file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di lance-format/lance
-
bug(python): read_transaction raises TypeError on a Rewrite with rewritten indicesForse già presa @Borg93 l’ha presa oggi. Apertabug
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
lance-format/lance#11117 ·
I maintainer di solito rispondono entro 2 giorni
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
lance-format/lance#10782 ·
I maintainer di solito rispondono entro 2 giorni
-
Upgrade DataFusion for the unparser stack-overflow fixForse di nuovo libera Una pull request per questa issue è stata chiusa senza essere unita. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
lance-format/lance#8225 ·
I maintainer di solito rispondono entro 2 giorni
-
enhancement
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 84/100
lance-format/lance#6425 · 2 commenti ·
I maintainer di solito rispondono entro 2 giorni
-
Expose compute_pq_distanceForse di nuovo libera Una pull request per questa issue è stata chiusa senza essere unita. Apertaenhancement
Difficoltà 1/5 1-3 ore Idoneità per principianti 62/100
lance-format/lance#5675 · 1 commento ·
I maintainer di solito rispondono entro 2 giorni
Tutte le issue di lance-format/lance
Issue simili
-
comp-rbac
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
ClickHouse/ClickHouse#131875 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
storytold/photocraft#15232 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
forge: fork preflight reads still send `requireCanonical: false`, which Rootstock rejects (-32603)Forse già presa @Ynyesto l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
foundry-rs/foundry#18485 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
bondybondbond/rushcut#238 · 1 commento ·
-
area: app type: bug
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 88/100
I maintainer di solito rispondono entro 1 giorno