chore: replace IVF split memory resource test with component tests
I maintainer di solito rispondono entro 2 giorni
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 3/5
- Tempo stimato
- 1-2 giorni
- Idoneità per principianti
- 68/100
Direzione di ricerca
Start in rust/lance/src/index/vector/builder.rs at raw_vector_fetch_shape, take_vectors_stream, and slice_evenly; read their implementations and the existing regroup_by_bytes unit test. Add focused tests for fetch shape, bounded concurrent calls, and slice counts and sizes, then remove the slow resource test from PR CI. Done when the component tests cover the stated cases and the full scale check is assigned to a benchmark or nightly job.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
test_ivf_split_reshuffle_memory_stays_bounded is the slowest test in the Rust suite: about 100s in the ci profile (timings from #10971). It guards the fix from #9574 by building an IVF-PQ index over 512 MiB of vectors, running optimize_indices to force a split, and checking peak allocations against a 128 MiB ceiling. Allocation tracking only works at that scale, since at small scale runtime overhead hides the signal.
The bound comes from a few small components in reshuffle_partitions, each with its own number we can assert directly:
Proposal: replace the resource test with sub-100ms tests of each component.
raw_vector_fetch_shapeis pure and untested. Use rstest cases over block size (64 KiB, 4 KiB), dimension, and multivector vs fixed-size. Assertrows_per_fetch * row_bytes <= RAW_VECTOR_FETCH_BYTESand the in-flight count. This alone catches the original bug (block size in bytes used as a row count).take_vectors_streamshould take the fetch as a parameter instead of callingDataset::take_rowsitself. A test then passes a fake fetch that counts concurrent calls, and asserts it never exceedsprefetch. That catches a return tobuffered(io_parallelism).slice_evenly: assert the slice count and sizes.regroup_by_bytesalready has a unit test.
Then move the full-scale test out of PR CI, either to a benchmark or a nightly job.
- Lingua principale
- Rust
- Stelle
- 7.3k
- Fork
- 929
- Merge medio
- 2g 22h
- PR unite (30g)
- 572
Preparare l'ambiente
Avvia il container di sviluppo del progetto nel browser, con il tuo account GitHub.
- Include un Dockerfile o un file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di lance-format/lance
-
bug(python): read_transaction raises TypeError on a Rewrite with rewritten indicesForse già presa @Borg93 l’ha presa oggi. Apertabug
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
lance-format/lance#11117 ·
I maintainer di solito rispondono entro 2 giorni
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
lance-format/lance#10782 ·
I maintainer di solito rispondono entro 2 giorni
-
Upgrade DataFusion for the unparser stack-overflow fixForse di nuovo libera Una pull request per questa issue è stata chiusa senza essere unita. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
lance-format/lance#8225 ·
I maintainer di solito rispondono entro 2 giorni
-
enhancement
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 84/100
lance-format/lance#6425 · 2 commenti ·
I maintainer di solito rispondono entro 2 giorni
-
Expose compute_pq_distanceForse di nuovo libera Una pull request per questa issue è stata chiusa senza essere unita. Apertaenhancement
Difficoltà 1/5 1-3 ore Idoneità per principianti 62/100
lance-format/lance#5675 · 1 commento ·
I maintainer di solito rispondono entro 2 giorni
Tutte le issue di lance-format/lance
Issue simili
-
comp-rbac
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
ClickHouse/ClickHouse#131875 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
storytold/photocraft#15232 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
forge: fork preflight reads still send `requireCanonical: false`, which Rootstock rejects (-32603)Forse già presa @Ynyesto l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
foundry-rs/foundry#18485 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
bondybondbond/rushcut#238 · 1 commento ·
-
area: app type: bug
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 88/100
I maintainer di solito rispondono entro 1 giorno