feat: precompile glob patterns and batch embeddings in vector module
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 3/5
- Tempo stimato
- 1-2 giorni
- Idoneità per principianti
- 56/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Attiva
- Stack tecnologico
- javascript
- Ambito
- performance
Direzione di ricerca
Start with indexer.js and trace how matchesGlob is called from scanFiles; check existing tests for file scanning and glob matching. Then inspect embedder.js for how embedLocal calls pipe() for each text. The issue is done when glob patterns are compiled once and local embeddings are batched, with tests covering both behaviors.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Summary
Precompile glob patterns in the indexer and batch embedding calls to reduce per-file overhead.
Findings
- indexer.js —
matchesGlobbuilds a new RegExp per pattern per file per call — O(files × patterns) regex compilations in scanFiles. Perf smell; patterns should be precompiled once. Most notable vector perf issue. - store.js —
searchdoesnew Float32Array(embedding)each call — copies if already Float32Array. Minor. - embedder.js —
embedLocalloops texts sequentially callingpipe()per text — could batch. Minor. - embedder.js —
redirectOnnxRuntimemutates require.cache — hacky but documented.
- Lingua principale
- JavaScript
- Stelle
- 2
- Fork
- 0
- Merge medio
- 1h 34m
- PR unite (30g)
- 231
Preparare l'ambiente
- Include un Dockerfile o un file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di avoidwork/madz
-
fix: show file picker empty message below the input lineForse già presa @avoidwork l’ha presa 1 giorno fa. Apertaapproved bug in progress
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
avoidwork/madz#1412 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
feature
Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di avoidwork/madz
Issue simili
-
app_installations reports an error on every repo or suborg change when the plugin is not configuredAperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 64/100
github-community-projects/safe-settings#1111 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
I maintainer di solito rispondono entro 1 giorno
-
needs triage
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
pbakaus/impeccable#1055 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 82/100
guaguastandup/zotero-pdf2zh#368 ·
-
Add: EUROTV NEWSApertachannels:add check:passed
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100