Measure recall under filters, with and without iterative index scans
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 3/5
- Tempo stimato
- 1-2 giorni
- Idoneità per principianti
- 83/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Specificata chiaramente
- Stato di attività
- Attiva
- Stack tecnologico
- postgresql, python
- Ambito
- databases, performance
Direzione di ricerca
Start in src/shrinkvec/pg.py to find the load and index benchmark flow, then read exact.py to see how ground truth is computed. Add synthetic attributes with 50%, 10%, and 1% selectivity, compute exact filtered ground truth, and compare each index with iterative scans enabled and disabled. Done when the report shows recall against selectivity for each index and tests cover the exact filtered ground truth.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Approximate indexes lose the most recall when a WHERE clause removes most rows. pgvector 0.8 added iterative index scans (hnsw.iterative_scan) for this.
Where to start: src/shrinkvec/pg.py. Add a synthetic attribute column at load time with a few selectivities (50%, 10%, 1%), compute the filtered ground truth in exact.py, and run each index with and without iterative scans.
Done when: the report has a recall-against-selectivity view per index, and the exact filtered ground truth is tested.
- Lingua principale
- Python
- Stelle
- 0
- Fork
- 0
- Merge medio
- 1h 35m
- PR unite (30g)
- 5
Preparare l'ambiente
- Include un Dockerfile o un file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di ahmad-codex/shrinkvec
-
area: report enhancement
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
ahmad-codex/shrinkvec#15 ·
-
area: report enhancement
Difficoltà 4/5 3-5 giorni Idoneità per principianti 56/100
ahmad-codex/shrinkvec#16 ·
-
Faster lab scansApertaarea: lab help wanted performance
Difficoltà 4/5 3-5 giorni Idoneità per principianti 42/100
ahmad-codex/shrinkvec#14 ·
-
enhancement good first issue performance
Difficoltà 3/5 1-2 giorni Idoneità per principianti 72/100
ahmad-codex/shrinkvec#12 ·
-
area: lab codec enhancement
Difficoltà 4/5 3-5 giorni Idoneità per principianti 56/100
ahmad-codex/shrinkvec#11 ·
Tutte le issue di ahmad-codex/shrinkvec
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
Graphify-Labs/graphify#4860 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
:bug: Bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100
scikit-image/scikit-image#8377 ·
I maintainer di solito rispondono entro 1 giorno
-
Ingredient import validation accepts negative nutrient values and NaNForse già presa @LukeSekai l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
wger-project/wger#2564 ·
I maintainer di solito rispondono entro 2 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
apache/ponymail-foal#351 ·
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 68/100
I maintainer di solito rispondono entro 4 giorni