perf: tagged fragment reuse histories can't tell that an index segment was built after a rewrite
I maintainer di solito rispondono entro 2 giorni
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 25/100
- Tipo di issue
- Bug
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Attiva
- Stack tecnologico
- rust
- Ambito
- databases, performance
Direzione di ricerca
Read rust/lance/src/dataset/index/frag_reuse.rs and rust/lance/src/index/frag_reuse_reader.rs to compare legacy and tagged transition handling. The issue describes a possible persisted metadata convention, but says that convention needs a decision; first resolve how per-transition versions should be stored and how older writers should behave. Done means rebuilt segments can use stored addresses after compaction without repeated translation or full scans, while older metadata remains safe.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
A legacy (v0) fragment reuse history stores a dataset_version on each version record. is_index_remap_caught_up (rust/lance/src/dataset/index/frag_reuse.rs:264) uses it: a segment built after a rewrite is caught up and its stored addresses are used as-is.
Tagged (v1) transitions don't record the version they were committed at. The tagged read path, FragmentReuseIndex::may_need_translation (rust/lance/src/index/frag_reuse_reader.rs:211), only checks overlap. A segment needs translation whenever its fragment bitmap contains any fragment a transition names, sources or destinations.
So a segment rebuilt or optimized after a compaction is never treated as caught up, because it covers that compaction's destination fragments. This lasts until trim drops the transition:
- Indices that can translate run an identity translation on every load. It reads the row maps and returns the addresses unchanged.
- Indices that can't translate are excluded and their rows are scanned (#10693, FM).
Results are correct; the cost is query-time IO and CPU, or full scans.
#10706 adds a version check to the tagged path, but it has to use the FRI entry's dataset_version as an upper bound for every transition's version. Every new rewrite or trim re-stamps the entry, so under continuous compaction a rebuilt segment gets the direct read only until the next rewrite.
A fix that doesn't change the format would record a per-transition version in the entry's IndexMetadata.metadata map, keyed by transition identity (for example the row-map id). Older writers that drop or copy the map fall back to the entry version, which stays safe. This is a new persisted convention and needs a decision.
Related: #10693, #10697.
- Lingua principale
- Rust
- Stelle
- 7.3k
- Fork
- 929
- Merge medio
- 2g 22h
- PR unite (30g)
- 572
Preparare l'ambiente
Avvia il container di sviluppo del progetto nel browser, con il tuo account GitHub.
- Include un Dockerfile o un file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di lance-format/lance
-
bug(python): read_transaction raises TypeError on a Rewrite with rewritten indicesForse già presa @Borg93 l’ha presa oggi. Apertabug
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
lance-format/lance#11117 ·
I maintainer di solito rispondono entro 2 giorni
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
lance-format/lance#10782 ·
I maintainer di solito rispondono entro 2 giorni
-
Upgrade DataFusion for the unparser stack-overflow fixForse di nuovo libera Una pull request per questa issue è stata chiusa senza essere unita. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
lance-format/lance#8225 ·
I maintainer di solito rispondono entro 2 giorni
-
enhancement
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 84/100
lance-format/lance#6425 · 2 commenti ·
I maintainer di solito rispondono entro 2 giorni
-
Expose compute_pq_distanceForse di nuovo libera Una pull request per questa issue è stata chiusa senza essere unita. Apertaenhancement
Difficoltà 1/5 1-3 ore Idoneità per principianti 62/100
lance-format/lance#5675 · 1 commento ·
I maintainer di solito rispondono entro 2 giorni
Tutte le issue di lance-format/lance
Issue simili
-
area:cli area:security bug priority:medium
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
rtk-ai/rtk#5127 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
status: new topic: ga4gh-sdk type: bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
I maintainer di solito rispondono entro 1 giorno
-
comp-rbac
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
ClickHouse/ClickHouse#131875 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 80/100
googleworkspace/cli#984 ·
I maintainer di solito rispondono entro 1 giorno