[Benchmark] 0.1.56 to 0.1.58 decode flat on a 4060 Ti + 3060 layer split; the 12 GB fixes do not apply when a second card holds the experts

Aperta Adatta ai principianti
  • Qualcosa non va?
#5,501 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 4 giorni

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
1/5
Tempo stimato
Meno di un'ora
Idoneità per principianti
78/100
Tipo di issue
Documentazione
Chiarezza
Specificata chiaramente
Stato di attività
Attiva
Stack tecnologico
cpp
Ambito
performance

Direzione di ricerca

Inizia leggendo le note di rilascio delle versioni 0.2.11 e 0.2.12 e il comportamento di --remote-expert-opt descritto nell’issue. Aggiungi un chiarimento di una riga che specifichi che il posizionamento dell’esperto sulla seconda scheda aggira sia la correzione della cache dei file sia la modifica del limite massimo della quota CPU/caricamento. Il lavoro è completato quando le note di rilascio chiariscono questa limitazione per le configurazioni con schede divise.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

Setup. Linux x86 (CUDA 12 engine), RTX 4060 Ti 16 GB + RTX 3060 12 GB, layer split 28/20, --remote-expert-opt --pipeline-windows 2 --pool-workers 11 --spec 4 --spec-min-p 0.5 --kv int8, 262K context, Qwen3.8-Flash-Next IQ3_S (abliterated pack), one request at a time. Xeon W-2245 (8C16T). Fixed prompts (prose + code, 400 tokens out, temperature 0), 2 rounds per run, runs interleaved across versions by swapping only exe + LD_LIBRARY_PATH.

Result: 0.1.56 → 0.1.58 decode is flat on this rig.

engine run means (tok/s)
0.1.56 62.0, 64.6
0.1.58 63.3, 62.7, 62.6, 64.2

Draft acceptance 63-67% both sides, expert cache hit 83-91% both sides. Nothing regressed; nothing gained either.

Why the two headline 12 GB changes did not land here:

  1. The file-cache fix (0.2.12, "the second start-up check no longer counts the engine's own memory as free"): the switch line expert reads now go through the file cache never appears in our log on 0.1.58 (0 occurrences), and it never appeared on 0.1.56 either — with --remote-expert-opt the missed experts go to the second card (the 3060), not to the file cache, so the misclassification path the fix addresses is not the one our rig walks. The RTX 3060 3-of-3 → 0-of-3 improvement in the release notes is presumably the single-card placement.
  2. The CPU/upload share ceiling 0.60 → 0.95 (0.2.11): same reason — it prices the CPU lane for missed experts, and on this pair the 3060 absorbs them instead. The +13% figure was measured on two PRO 6000 cards held to 12 GB free each, where the CPU lane really is the overflow.

What we did keep 0.1.58 for: the tool-call fixes (#5312, #5409, #5276, #5281, #4828, #4832) matter for the agent traffic this server serves, and decode did not regress. So: flat speed, net positive on reliability.

Suggestion. The release notes' 12 GB framing reads as if every 3060-class rig gets these wins; a one-line note that --remote-expert-opt (or any second-card expert placement) bypasses both paths would save the next split-pair user the same A/B we just ran.

Lingua principale
C++
Stelle
11.6k
Fork
1k
Nessuna PR unita negli ultimi 30g

Preparare l'ambiente

Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di Niko1221/Strata

Tutte le issue di Niko1221/Strata

Issue simili

Altre issue su C++

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.