[Benchmark] Jetson AGX Thor (sm_110, aarch64): IQ3_S standard run — 32.9-34.2 tok/s decode, 745-891 tok/s prompt
I maintainer di solito rispondono entro 3 giorni
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 1/5
- Tempo stimato
- 1-3 ore
- Idoneità per principianti
- 76/100
Direzione di ricerca
La issue dice che la cartella dell’esecuzione è pronta per una PR relativa a bench/results/ e indica README.md, results.json, config.json e provenance/ come contenuti. Inizia esaminando questi artefatti e le cartelle esistenti dei risultati dei benchmark per individuare la struttura prevista. Aggiungi l’esecuzione Jetson AGX Thor IQ3_S con le relative misurazioni e i dettagli per riprodurla; il lavoro è completato quando i risultati sono registrati in modo coerente con le voci esistenti.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
What was measured
strata bench run, protocol strata-qwen38-thinking-v1-draft.1, on a Jetson AGX Thor — first
ARM64 + Blackwell (sm_110) platform reported. Source build (no ready-made engine exists for
linux-aarch64; see the feature request).
- 21/21 required requests finished, 0 failed, 0 skipped.
- 12/12 sanity checks pass (instruction 4/4, retrieval 4/4, tool calls 4/4).
- Time after the model loaded: 4 min 36 s.
Environment
| Item | Value |
|---|---|
| GPU | NVIDIA Thor, CC 11.0 (sm_110), 20 SMs, 122.8 GiB unified |
| SoC / OS | L4T R38 rev 4.0, kernel 6.8.12-tegra; Ubuntu 24.04.3 LTS, aarch64 |
| Driver / CUDA | 580.00 / CUDA 13.0 |
| Storage | nvme ZHITAI TiPlus7100s 2TB |
| Strata | 5e8a4cc, engine 0.1.52, source build for sm_110 |
| Model | Qwen3.8-Flash-Next IQ3_S (ISTA-DASLab), ctx 32768, kv int8, --ple-io ram, MTP spec 4 |
| Weights source | ModelScope (--source modelscope) |
Results
| Case | Prompt tok/s | Decode tok/s | TTFT s |
|---|---|---|---|
| short (≈80 tok) | n/a | 34.0 (34.0-34.3) n=3 | 1.22 (1.06-1.29) n=3 |
| prompt-4k | 744.7 (743.7-824.6) n=3 | 34.2 (32.0-35.0) n=3 | 5.54 (5.01-5.55) n=3 |
| prompt-16k | 891.4 (888.0-971.6) n=3 | 32.9 (32.8-34.3) n=3 | 18.44 (16.92-18.51) n=3 |
For reference, the README's Strix Halo (Ryzen AI Max+ 395, 128 GB unified) row lists 19-21 tok/s decode
and 87-125 tok/s prefill (4K/8K); this Thor run is ~33 tok/s decode and 745-891 tok/s prefill.
Extra: long-context (not part of the protocol)
With --max-context 262144 --kv int8 --ple-io direct, need-in-haystack retrieval passed at
22.6K / 135K / 230K tokens; prefill held ~876-916 tok/s across those lengths.
Kernel validation (context for the port)
A separate -DSTRATA_BUILD_TESTS=ON build passed 11/11 kernel parity tests on sm_110: qsa_parity,
iq_parity (IQ3_S dequant bit-exact), dequant_s2_parity, rope_parity, router_top10_parity,
kv_q8_parity, verify_parity, spec_verify_parity, mmvq_multi_parity, s2_gemv_parity,
kv_steps_parity.
Reproduce
git clone https://github.com/Niko1221/Strata.git && cd Strata
./setup.sh --family qwen --model IQ3_S --context 32768 --vision no --build --yes --no-start --source modelscope
# start the server, then:
.venv/bin/python strata.py bench run --url http://127.0.0.1:8080 --out bench-results/thor-iq3s \
--track custom --track-notes "Jetson AGX Thor, source build sm_110, CUDA 13.0, L4T R38" --quantization IQ3_S
Notes: --vision no; concurrency stage not run; ModelScope serves current files (both shards hashed by the runner).
The run folder (README.md, results.json, config.json, provenance/) is available and ready as a
bench/results/ PR.
- Lingua principale
- C++
- Stelle
- 11.6k
- Fork
- 1k
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di Niko1221/Strata
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100
Niko1221/Strata#4779 · 2 commenti ·
I maintainer di solito rispondono entro 3 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
I maintainer di solito rispondono entro 3 giorni
-
[GUI] npm test deletes the person's model folder: models-folder.test.mjs removes <drive>\StrataAperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
I maintainer di solito rispondono entro 3 giorni
-
[Engine] the sampler and the HIP properties probe never call close() - ResourceWarning lines on every Minimal serving runtime runForse già presa Una pull request collegata a questa issue è aperta o già unita. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
I maintainer di solito rispondono entro 3 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
Niko1221/Strata#4630 · 1 commento ·
I maintainer di solito rispondono entro 3 giorni
Tutte le issue di Niko1221/Strata
Issue simili
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 85/100
objectionary/game-of-life#74 ·
-
bug fmt low priority
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
qbittorrent/qBittorrent#25176 ·
I maintainer di solito rispondono entro 2 giorni
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 85/100
lxqt/lxqt-powermanagement#500 · 1 commento ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
scp-fs2open/fs2open.github.com#7965 ·
I maintainer di solito rispondono entro 1 giorno