Results for --model UD-IQ4_XS
I maintainer di solito rispondono entro 3 giorni
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 1/5
- Tempo stimato
- Meno di un'ora
- Idoneità per principianti
- 20/100
- Tipo di issue
- Documentazione
- Chiarezza
- Da chiarire
- Stato di attività
- Attiva
- Ambito
- performance
Direzione di ricerca
The issue reports performance results for UD-IQ4_XS at 32k and 128k context sizes on the listed hardware, but does not request a change or name files or tests. First clarify with the author what they want done with these results. Until there is a defined change and a way to verify it, there is no completion criterion.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Just want to say thank you for a quick update here are the results for --model UD-IQ4_XS
CPU 9950X3D
RAM 64GB
GPU RTX5080 16GB.
NVME
Windows 11
32k Token Context size, everything else default
Time Status Prompt Reused Output Tok/s VRAM hit rate Duration
01:59:27 PM Done 61 0 23,947 26.6 72.7% +15.1% PCIe 902.9 s
01:58:02 PM Done 18 0 8 23.7 38.6% +27.2% PCIe 1.2 s
Since Sun 01:57 PM: 2 requests · 79 prompt tokens read at 37 tok/s (0 reused) · 23,955 written at 26.6 tok/s
128k Token Context size, everything else default
Time Status Prompt Reused Output Tok/s VRAM hit rate Duration
02:37:17 PM Done 64,723 64,507 510 27.1 61.9% +20.8% PCIe 22.0 s
02:37:04 PM Done 64,256 63,881 250 26.7 54.5% +23.7% PCIe 13.1 s
02:36:37 PM Done 63,300 63,136 579 24.0 61.0% +21.1% PCIe 26.3 s
02:36:26 PM Done 62,929 62,421 207 29.2 64.6% +19.5% PCIe 10.5 s
02:35:36 PM Done 61,570 48,115 851 30.6 67.2% +18.0% PCIe 49.6 s
02:35:23 PM Done 47,904 47,783 211 25.7 58.8% +22.1% PCIe 10.4 s
02:35:15 PM Done 47,642 47,573 141 25.4 59.5% +21.3% PCIe 7.8 s
02:35:00 PM Done 47,440 47,327 133 31.6 65.5% +19.0% PCIe 6.4 s
02:33:55 PM Done 47,204 47,177 124 25.9 60.9% +21.0% PCIe 5.7 s
02:33:43 PM Done 47,016 46,639 161 22.1 56.5% +23.0% PCIe 11.1 s
02:33:20 PM Done 46,195 46,027 444 22.9 62.1% +20.1% PCIe 22.6 s
02:33:09 PM Done 45,807 45,639 219 27.6 62.5% +20.5% PCIe 10.9 s
02:32:04 PM Done 43,748 43,663 1,890 30.2 66.6% +18.4% PCIe 64.8 s
02:31:56 PM Done 43,558 43,428 104 23.7 61.4% +21.0% PCIe 7.2 s
02:31:37 PM Done 42,866 42,773 562 33.0 71.6% +16.3% PCIe 19.0 s
02:31:28 PM Done 42,597 42,462 177 29.0 68.5% +17.1% PCIe 8.9 s
02:31:14 PM Done 42,200 42,010 263 24.9 64.4% +19.2% PCIe 13.4 s
02:31:02 PM Done 41,817 41,490 190 22.7 61.0% +20.4% PCIe 11.9 s
02:30:40 PM Done 41,356 31,505 130 25.0 57.3% +21.7% PCIe 22.1 s
02:25:51 PM Done 31,510 20,401 9,517 35.9 70.2% +17.4% PCIe 288.2 s
02:25:36 PM Done 20,270 16,858 131 32.1 64.9% +20.7% PCIe 14.4 s
02:24:55 PM Done 16,591 0 268 36.8 62.8% +21.9% PCIe 40.4 s
- Lingua principale
- C++
- Stelle
- 11.6k
- Fork
- 1k
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di Niko1221/Strata
-
Difficoltà 1/5 1-3 ore Idoneità per principianti 76/100
I maintainer di solito rispondono entro 3 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 74/100
I maintainer di solito rispondono entro 3 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
I maintainer di solito rispondono entro 3 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 74/100
I maintainer di solito rispondono entro 3 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
I maintainer di solito rispondono entro 3 giorni
Tutte le issue di Niko1221/Strata
Issue simili
-
.NET ep:WebGPU platform:web
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
microsoft/onnxruntime#33755 ·
I maintainer di solito rispondono entro 2 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
grumpycoders/pcsx-redux#2530 ·
-
A-tools P-medium S-ready-to-start studio task
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
I maintainer di solito rispondono entro 1 giorno
-
Status: Needs confirmation Status: Needs triage Type: Code Quality
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
I maintainer di solito rispondono entro 1 giorno
-
Image.resolveAssetSource's TypeScript declaration drops the null it returns for an unknown assetAperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
react/react-native#59648 ·
I maintainer di solito rispondono entro 2 giorni