[Feature] Add CI benchmarks to compare vector index PRs with their base
I maintainer di solito rispondono entro 2 giorni
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 38/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Attiva
- Stack tecnologico
- github-actions, rust
- Ambito
- ci-cd, performance, testing
Direzione di ricerca
Leggi prima l’issue di implementazione #95, quindi individua il workflow CI esistente e il driver dei benchmark. Verifica che un carico di lavoro ripetibile con cache calda che copra IVF-FLAT, IVF-SQ, IVF-PQ, IVF-RQ e DiskANN confronti entrambe le revisioni sullo stesso runner, pubblichi recall e throughput nel riepilogo di Actions, conservi i campioni grezzi, utilizzi soglie indicative e aggiorni il commento del PR quando consentito.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Vector index changes can affect query throughput or recall without failing correctness tests. Reviewers currently need to run benchmarks manually to compare a PR with its base revision.
Add a lightweight CI benchmark that compares both revisions on the same runner with the same workload and benchmark driver. The report should make recall and query-throughput changes easy to scan, retain raw samples for investigation, and use advisory thresholds rather than fail CI on noisy timing differences.
The initial scope is a small, repeatable warm-cache workload covering IVF-FLAT, IVF-SQ, IVF-PQ, IVF-RQ and DiskANN. Results should be available in the Actions summary, with an updated PR comment where token permissions allow it.
Implementation: #95.
- Lingua principale
- Rust
- Stelle
- 25
- Fork
- 24
- Merge medio
- 2g 4h
- PR unite (30g)
- 11
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di apache/paimon-vector-index
-
Add optional GPU acceleration for IVF-SQ training and constructionForse già presa @TheR1sing3un l’ha presa 37 giorni fa. Aperta
Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100
apache/paimon-vector-index#100 ·
I maintainer di solito rispondono entro 2 giorni
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100
apache/paimon-vector-index#97 · 2 commenti ·
I maintainer di solito rispondono entro 2 giorni
-
Support reusing a training result across multiple vector index writersForse già presa @wangzhigang1999 l’ha presa 46 giorni fa. Aperta
Difficoltà 5/5 Più di una settimana Idoneità per principianti 45/100
apache/paimon-vector-index#86 ·
I maintainer di solito rispondono entro 2 giorni
Tutte le issue di apache/paimon-vector-index
Issue simili
-
documentation
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
IntersectMBO/developer-experience#347 ·
I maintainer di solito rispondono entro 2 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
registrystack/registry-stack#2168 ·
I maintainer di solito rispondono entro 1 giorno
-
bug crate: 3d help wanted triage
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
kornia/kornia-rs#1203 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
I maintainer di solito rispondono entro 1 giorno
-
[Bug] ComponentType classifies 0x8A8A-0xEAEA as GREASE; mls-extensions §7.5 makes them private useAperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100
I maintainer di solito rispondono entro 1 giorno