KV-cache quantization
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 35/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Attiva
- Ambito
- machine-learning, performance
Direzione di ricerca
Start by reviewing the Hugging Face model integration and existing quantization code to identify the cache interfaces and supported models. The issue calls for an ADR, a cache implementation with tests, and perplexity and memory measurements at 4k and 16k context for one model; those results define done. Expect substantial design and evaluation work.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
For long contexts the KV cache can be larger than the weights. Storing keys and values in
INT8 or FP8 roughly halves that memory.
Task: design and implement KV-cache quantization for Hugging Face models (for example a
custom Cache class that stores quantized keys and values per head with per-token
scales), and measure perplexity and memory at 4k and 16k context.
Done when there is a short design note (ADR), an implementation with tests, and
results for one model.
- Lingua principale
- Python
- Stelle
- 0
- Fork
- 0
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di yashwanthdevavarapu/bitsmith
-
area: benchmarks good first issue help wanted
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
-
area: benchmarks good first issue
Difficoltà 2/5 1-3 ore Idoneità per principianti 86/100
-
area: cli area: formats good first issue
Difficoltà 2/5 1-3 ore Idoneità per principianti 92/100
-
area: cli good first issue
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
-
area: benchmarks good first issue
Difficoltà 2/5 1-3 ore Idoneità per principianti 90/100
Tutte le issue di yashwanthdevavarapu/bitsmith
Issue simili
-
namespace
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 68/100
EclipseFdn/open-vsx.org#15604 ·
I maintainer di solito rispondono entro 1 giorno
-
app: scripts severity: low status: backlog type: bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
netbox-community/netbox-scripts#164 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100
I maintainer di solito rispondono entro 5 giorni
-
Public function to read participants.tsvForse già presa @bruAristimunha l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 1/5 1-3 ore Idoneità per principianti 85/100
huggingface/tau#799 ·
I maintainer di solito rispondono entro 2 giorni