bug: raw index commits can mix incompatible vector segments under one name
Los mantenedores suelen responder en 2 días
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 25/100
Línea de trabajo
Read rust/lance/src/index/lifecycle.rs around commit_existing_index_segments and rust/lance-table/src/transaction/manifest_build.rs around the CreateIndex manifest builder. Trace how raw CreateIndex commits and Transaction V2 AddIndexSegment actions reach the commit path, then compare those checks with validate_vector_query_compatibility. Done means incompatible vector segments sharing an index name are rejected on every commit path or when opened for search; an open linked pull request (#10761) is already addressing this issue.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
A transaction committed directly can add a vector index segment whose metric, sub-index, or quantization differs from the other segments under the same index name. Nothing rejects it, and a search then unions the segments and ranks part of the data by the wrong distance, without an error.
The index APIs guard against this. commit_existing_index_segments opens every segment that will share the name, including those already in the read version, and checks them before it builds the CreateIndex transaction:
Building the manifest for a CreateIndex doesn't repeat that check. It validates covering fields and row-id/row-address consistency, but not vector compatibility. So a Transaction with Operation::CreateIndex committed through CommitBuilder, or an AddIndexSegment action under Transaction V2 (#8645), can put an L2 segment and a Dot segment under one name. Queries don't check either: validate_vector_query_compatibility runs only on commit, optimize, and merge paths.
Repro
- Build two
ivf_flatsegments on different fragments withexecute_uncommitted, one withDistanceType::L2and one withDistanceType::Dot. - Commit the L2 segment under name
sharedwith a rawCreateIndextransaction, then commit the Dot segment the same way from the new version. dataset.scan().nearest("vector", ..)succeeds and mixes the two distance rankings.
Possible fix
lance-table can't decode index details without depending on lance-index, so the check can't live in manifest building as-is. One option is a compatibility hook that lance supplies to the commit path, dispatching by details type, so every commit path checks the final segment set rather than only the API paths. An alternative or complement is checking segment compatibility when a search opens them.
- Lenguaje dominante
- Rust
- Estrellas
- 7.3k
- Forks
- 929
- Merge medio
- 2 d 22 h
- PR fusionados (30 d)
- 572
Preparar el entorno
Inicia el contenedor de desarrollo del proyecto en tu navegador, con tu propia cuenta de GitHub.
- Incluye un Dockerfile o un archivo de Docker Compose
- Sin plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de lance-format/lance
-
bug(python): read_transaction raises TypeError on a Rewrite with rewritten indicesPosiblemente ocupada @Borg93 la tomó hoy. Abiertobug
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
lance-format/lance#11117 ·
Los mantenedores suelen responder en 2 días
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
lance-format/lance#10782 ·
Los mantenedores suelen responder en 2 días
-
Upgrade DataFusion for the unparser stack-overflow fixQuizá libre de nuevo Un pull request para esta issue se cerró sin fusionarse. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
lance-format/lance#8225 ·
Los mantenedores suelen responder en 2 días
-
enhancement
Dificultad 1/5 Menos de una hora Aptitud para principiantes 84/100
lance-format/lance#6425 · 2 comentarios ·
Los mantenedores suelen responder en 2 días
-
Expose compute_pq_distanceQuizá libre de nuevo Un pull request para esta issue se cerró sin fusionarse. Abiertoenhancement
Dificultad 1/5 1-3 horas Aptitud para principiantes 62/100
lance-format/lance#5675 · 1 comentario ·
Los mantenedores suelen responder en 2 días
Todos los issues de lance-format/lance
Issues similares
-
area:cli area:security bug priority:medium
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
rtk-ai/rtk#5127 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
status: new topic: ga4gh-sdk type: bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
Los mantenedores suelen responder en 1 día
-
comp-rbac
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
ClickHouse/ClickHouse#131875 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
Los mantenedores suelen responder en 1 día
-
`gws auth login` keeps the old token cache, so API calls use a token from the previous grantAbierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 80/100
googleworkspace/cli#984 ·
Los mantenedores suelen responder en 1 día