chore: replace IVF split memory resource test with component tests
Los mantenedores suelen responder en 2 días
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 3/5
- Tiempo estimado
- 1-2 días
- Aptitud para principiantes
- 68/100
Línea de trabajo
Start in rust/lance/src/index/vector/builder.rs at raw_vector_fetch_shape, take_vectors_stream, and slice_evenly; read their implementations and the existing regroup_by_bytes unit test. Add focused tests for fetch shape, bounded concurrent calls, and slice counts and sizes, then remove the slow resource test from PR CI. Done when the component tests cover the stated cases and the full scale check is assigned to a benchmark or nightly job.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
test_ivf_split_reshuffle_memory_stays_bounded is the slowest test in the Rust suite: about 100s in the ci profile (timings from #10971). It guards the fix from #9574 by building an IVF-PQ index over 512 MiB of vectors, running optimize_indices to force a split, and checking peak allocations against a 128 MiB ceiling. Allocation tracking only works at that scale, since at small scale runtime overhead hides the signal.
The bound comes from a few small components in reshuffle_partitions, each with its own number we can assert directly:
Proposal: replace the resource test with sub-100ms tests of each component.
raw_vector_fetch_shapeis pure and untested. Use rstest cases over block size (64 KiB, 4 KiB), dimension, and multivector vs fixed-size. Assertrows_per_fetch * row_bytes <= RAW_VECTOR_FETCH_BYTESand the in-flight count. This alone catches the original bug (block size in bytes used as a row count).take_vectors_streamshould take the fetch as a parameter instead of callingDataset::take_rowsitself. A test then passes a fake fetch that counts concurrent calls, and asserts it never exceedsprefetch. That catches a return tobuffered(io_parallelism).slice_evenly: assert the slice count and sizes.regroup_by_bytesalready has a unit test.
Then move the full-scale test out of PR CI, either to a benchmark or a nightly job.
- Lenguaje dominante
- Rust
- Estrellas
- 7.3k
- Forks
- 929
- Merge medio
- 2 d 22 h
- PR fusionados (30 d)
- 572
Preparar el entorno
Inicia el contenedor de desarrollo del proyecto en tu navegador, con tu propia cuenta de GitHub.
- Incluye un Dockerfile o un archivo de Docker Compose
- Sin plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de lance-format/lance
-
bug(python): read_transaction raises TypeError on a Rewrite with rewritten indicesPosiblemente ocupada @Borg93 la tomó hoy. Abiertobug
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
lance-format/lance#11117 ·
Los mantenedores suelen responder en 2 días
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
lance-format/lance#10782 ·
Los mantenedores suelen responder en 2 días
-
Upgrade DataFusion for the unparser stack-overflow fixQuizá libre de nuevo Un pull request para esta issue se cerró sin fusionarse. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
lance-format/lance#8225 ·
Los mantenedores suelen responder en 2 días
-
enhancement
Dificultad 1/5 Menos de una hora Aptitud para principiantes 84/100
lance-format/lance#6425 · 2 comentarios ·
Los mantenedores suelen responder en 2 días
-
Expose compute_pq_distanceQuizá libre de nuevo Un pull request para esta issue se cerró sin fusionarse. Abiertoenhancement
Dificultad 1/5 1-3 horas Aptitud para principiantes 62/100
lance-format/lance#5675 · 1 comentario ·
Los mantenedores suelen responder en 2 días
Todos los issues de lance-format/lance
Issues similares
-
area:cli area:security bug priority:medium
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
rtk-ai/rtk#5127 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
status: new topic: ga4gh-sdk type: bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
Los mantenedores suelen responder en 1 día
-
comp-rbac
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
ClickHouse/ClickHouse#131875 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
Los mantenedores suelen responder en 1 día
-
`gws auth login` keeps the old token cache, so API calls use a token from the previous grantAbierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 80/100
googleworkspace/cli#984 ·
Los mantenedores suelen responder en 1 día