Vectorize MarkovCorpus.sample
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 3/5
- Tempo stimato
- 1-2 giorni
- Idoneità per principianti
- 76/100
- Tipo di issue
- Refactoring
- Chiarezza
- Specificata chiaramente
- Stato di attività
- Attiva
- Stack tecnologico
- python
- Ambito
- performance
Direzione di ricerca
Read src/bitsmith/eval/corpus.py and locate MarkovCorpus.sample; then review the determinism and entropy floor tests in tests/unit/test_eval.py. Benchmark sampling 100,000 tokens and confirm it takes well under a second while the tests still pass. If the token sequence changes for a seed, regenerate committed results with make reproduce in the same PR.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
MarkovCorpus.sample draws one token at a time in a Python loop, which takes a few seconds
for the 60,000 tokens bitsmith sweep uses.
Task: make sampling faster, for example by drawing all uniform numbers up front and
doing the per-step lookup with precomputed cumulative tables, or by sampling in chunks.
Files
src/bitsmith/eval/corpus.pytests/unit/test_eval.py: the existing tests (determinism, entropy floor) must still pass
Note: if the token sequence changes for a given seed, regenerate the committed results
with make reproduce in the same PR.
Done when sampling 100,000 tokens takes well under a second on a laptop CPU.
- Lingua principale
- Python
- Stelle
- 0
- Fork
- 0
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di yashwanthdevavarapu/bitsmith
-
area: benchmarks good first issue help wanted
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
-
area: benchmarks good first issue
Difficoltà 2/5 1-3 ore Idoneità per principianti 86/100
-
area: cli area: formats good first issue
Difficoltà 2/5 1-3 ore Idoneità per principianti 92/100
-
area: cli good first issue
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
-
area: benchmarks good first issue
Difficoltà 2/5 1-3 ore Idoneità per principianti 90/100
Tutte le issue di yashwanthdevavarapu/bitsmith
Issue simili
-
namespace
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 68/100
EclipseFdn/open-vsx.org#15604 ·
I maintainer di solito rispondono entro 1 giorno
-
app: scripts severity: low status: backlog type: bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
netbox-community/netbox-scripts#164 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100
I maintainer di solito rispondono entro 5 giorni
-
Public function to read participants.tsvForse già presa @bruAristimunha l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 1/5 1-3 ore Idoneità per principianti 85/100
huggingface/tau#799 ·
I maintainer di solito rispondono entro 2 giorni