merge_insert RewriteColumns lists the join key in fields_modified, withdrawing exact index coverage over the key
Los mantenedores suelen responder en 2 días
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 55/100
Línea de trabajo
Start by reading select_write_sink and its comment, then trace how MergeInsertWriteMode::RewriteColumns populates Operation::Update::fields_modified and how Transaction::prepare_indices handles rewritten_physical_columns and withdraw_in_place_rewrites. Reproduce the behavior with a BTREE index on the join key and inspect the fragment bitmap after commit. Done when a matched-row rewrite preserves exact index coverage, with tests confirming the behavior.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Summary
A merge_insert with MergeInsertWriteMode::RewriteColumns writes the join key into the patch data file and lists the key's field id in Operation::Update::fields_modified. Transaction::prepare_indices (through rewritten_physical_columns and withdraw_in_place_rewrites) then withdraws every touched fragment from every index over the key. The key values are byte-identical to the stored ones, because the join matched them exactly, and a column patch moves no row, so each row keeps its stable row id. The withdrawn coverage was exact.
The doc comment in select_write_sink already describes this cost ("the patch would reproduce the key column byte for byte, and still cost a full-fragment column file plus the invalidation of every index over the key").
Reproduction (Lance 13.0.0)
- Create a dataset with stable row ids:
id: Utf8(the join key) with a BTREE index,score: Int32, plus any other columns. - Stage
MergeInsertBuilder::try_new(ds, ["id"]),when_matched(UpdateAll),when_not_matched(DoNothing),write_mode(RewriteColumns), with a source of(id, score)that matches some rows. - Observe that
fields_modifiedcontains the field id ofid, and that after commit theidindex'sfragment_bitmapno longer contains the touched fragment.
Removing the key's field id from fields_modified before commit keeps the coverage. Equality lookups on the key then return every row exactly once, with the patched values.
Expected
For RewriteColumns, either do not list the join key in fields_modified, or omit the key from the patch file. Both are correct because the key values cannot change in a matched-row update. The second also saves writing a full-fragment copy of the key column.
Context
Omnigraph stages column patches for narrow updates of wide rows and currently removes the key from fields_modified itself, pinned by a surface test: https://github.com/ModernRelay/omnigraph/pull/1272. An upstream fix would let that adapter go.
- Lenguaje dominante
- Rust
- Estrellas
- 7.3k
- Forks
- 929
- Merge medio
- 2 d 22 h
- PR fusionados (30 d)
- 572
Preparar el entorno
Inicia el contenedor de desarrollo del proyecto en tu navegador, con tu propia cuenta de GitHub.
- Incluye un Dockerfile o un archivo de Docker Compose
- Sin plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de lance-format/lance
-
bug(python): read_transaction raises TypeError on a Rewrite with rewritten indicesPosiblemente ocupada @Borg93 la tomó hoy. Abiertobug
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
lance-format/lance#11117 ·
Los mantenedores suelen responder en 2 días
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
lance-format/lance#10782 ·
Los mantenedores suelen responder en 2 días
-
Upgrade DataFusion for the unparser stack-overflow fixQuizá libre de nuevo Un pull request para esta issue se cerró sin fusionarse. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
lance-format/lance#8225 ·
Los mantenedores suelen responder en 2 días
-
enhancement
Dificultad 1/5 Menos de una hora Aptitud para principiantes 84/100
lance-format/lance#6425 · 2 comentarios ·
Los mantenedores suelen responder en 2 días
-
Expose compute_pq_distanceQuizá libre de nuevo Un pull request para esta issue se cerró sin fusionarse. Abiertoenhancement
Dificultad 1/5 1-3 horas Aptitud para principiantes 62/100
lance-format/lance#5675 · 1 comentario ·
Los mantenedores suelen responder en 2 días
Todos los issues de lance-format/lance
Issues similares
-
area:cli area:security bug priority:medium
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
rtk-ai/rtk#5127 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
status: new topic: ga4gh-sdk type: bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
Los mantenedores suelen responder en 1 día
-
comp-rbac
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
ClickHouse/ClickHouse#131875 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
Los mantenedores suelen responder en 1 día
-
`gws auth login` keeps the old token cache, so API calls use a token from the previous grantAbierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 80/100
googleworkspace/cli#984 ·
Los mantenedores suelen responder en 1 día