bug: raw index commits can mix incompatible vector segments under one name
I maintainer di solito rispondono entro 2 giorni
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 25/100
Direzione di ricerca
Read rust/lance/src/index/lifecycle.rs around commit_existing_index_segments and rust/lance-table/src/transaction/manifest_build.rs around the CreateIndex manifest builder. Trace how raw CreateIndex commits and Transaction V2 AddIndexSegment actions reach the commit path, then compare those checks with validate_vector_query_compatibility. Done means incompatible vector segments sharing an index name are rejected on every commit path or when opened for search; an open linked pull request (#10761) is already addressing this issue.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
A transaction committed directly can add a vector index segment whose metric, sub-index, or quantization differs from the other segments under the same index name. Nothing rejects it, and a search then unions the segments and ranks part of the data by the wrong distance, without an error.
The index APIs guard against this. commit_existing_index_segments opens every segment that will share the name, including those already in the read version, and checks them before it builds the CreateIndex transaction:
Building the manifest for a CreateIndex doesn't repeat that check. It validates covering fields and row-id/row-address consistency, but not vector compatibility. So a Transaction with Operation::CreateIndex committed through CommitBuilder, or an AddIndexSegment action under Transaction V2 (#8645), can put an L2 segment and a Dot segment under one name. Queries don't check either: validate_vector_query_compatibility runs only on commit, optimize, and merge paths.
Repro
- Build two
ivf_flatsegments on different fragments withexecute_uncommitted, one withDistanceType::L2and one withDistanceType::Dot. - Commit the L2 segment under name
sharedwith a rawCreateIndextransaction, then commit the Dot segment the same way from the new version. dataset.scan().nearest("vector", ..)succeeds and mixes the two distance rankings.
Possible fix
lance-table can't decode index details without depending on lance-index, so the check can't live in manifest building as-is. One option is a compatibility hook that lance supplies to the commit path, dispatching by details type, so every commit path checks the final segment set rather than only the API paths. An alternative or complement is checking segment compatibility when a search opens them.
- Lingua principale
- Rust
- Stelle
- 7.3k
- Fork
- 929
- Merge medio
- 2g 22h
- PR unite (30g)
- 572
Preparare l'ambiente
Avvia il container di sviluppo del progetto nel browser, con il tuo account GitHub.
- Include un Dockerfile o un file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di lance-format/lance
-
bug(python): read_transaction raises TypeError on a Rewrite with rewritten indicesForse già presa @Borg93 l’ha presa oggi. Apertabug
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
lance-format/lance#11117 ·
I maintainer di solito rispondono entro 2 giorni
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
lance-format/lance#10782 ·
I maintainer di solito rispondono entro 2 giorni
-
Upgrade DataFusion for the unparser stack-overflow fixForse di nuovo libera Una pull request per questa issue è stata chiusa senza essere unita. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
lance-format/lance#8225 ·
I maintainer di solito rispondono entro 2 giorni
-
enhancement
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 84/100
lance-format/lance#6425 · 2 commenti ·
I maintainer di solito rispondono entro 2 giorni
-
Expose compute_pq_distanceForse di nuovo libera Una pull request per questa issue è stata chiusa senza essere unita. Apertaenhancement
Difficoltà 1/5 1-3 ore Idoneità per principianti 62/100
lance-format/lance#5675 · 1 commento ·
I maintainer di solito rispondono entro 2 giorni
Tutte le issue di lance-format/lance
Issue simili
-
comp-rbac
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
ClickHouse/ClickHouse#131875 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
storytold/photocraft#15232 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
forge: fork preflight reads still send `requireCanonical: false`, which Rootstock rejects (-32603)Forse già presa @Ynyesto l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
foundry-rs/foundry#18485 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
bondybondbond/rushcut#238 · 1 commento ·
-
area: app type: bug
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 88/100
I maintainer di solito rispondono entro 1 giorno