[TUI] DFlash2 works on the Coder: 70-93% acceptance, 414 tasks/h vs 274 on MTP

Aperta Adatta ai principianti
  • Qualcosa non va?
#5,240 1 commento 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 3 giorni

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
2/5
Tempo stimato
1-3 ore
Idoneità per principianti
69/100
Tipo di issue
Funzionalità
Chiarezza
Specificata chiaramente
Stato di attività
Attiva
Stack tecnologico
cpp, python
Ambito
backend, performance

Direzione di ricerca

Leggi strata_control/drafting.py, in particolare _SUPPORTED_NAME e SUPPORTED_FAMILIES, e controlla come i nomi dei modelli vengono associati al supporto di DFlash2. Confronta i risultati di accettazione di Coder nell’issue con i modelli supportati esistenti. Il lavoro è completato quando Coder viene accettato per DFlash2 e la spiegazione documentata sui modelli non supportati viene aggiornata.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

Area

[TUI] (the Terminal: strata launch, connect, monitor)

Desktop app, Terminal or source?

Terminal (the strata command)

What happened

DFlash2 works on the GSQ-RCO Coder IQ1_M. The drafting layer refuses it with
DFlash2 is for Qwen3.8-Flash-Next only, and strata_control/drafting.py says why:

Not Swift, Coder or NVFP4: no DFlash2 acceptance numbers for them, they start the MTP.

One line was enough to get the numbers: add -coder- to _SUPPORTED_NAME (or coder to
SUPPORTED_FAMILIES when the family is known). The engine then starts with the same Q4_0 pack the
Qwen3.8 models use, and the drafter accepts well.

Acceptance from the engine log, one client request at a time:

drafts accepted 26 of 37    (70%)
drafts accepted 32 of 41    (78%)
drafts accepted 26 of 32    (81%)
drafts accepted 27 of 29    (93%)
drafts accepted 750 of 973  (77%)
drafts accepted 82 of 88    (93%)

Agent suite (15 tasks x 3 reps, local tasks), same model, same machine:

drafter pass tasks/hour malformed repeats
MTP 45/45 274 2 4
DFlash2 45/45 414 2 4

Decode in individual requests ran 170-220 tok/s against 108-117 on MTP. Quality counters are
identical, so this is a throughput change, not a capability change.

The standard benchmark on the same configuration was added in a comment on this issue (protocol
draft.1, 12/12 sanity checks): decode 149.0 / 131.3 / 141.9 tok/s at short, 4k and 16k prompts.

Smallest steps or command that reproduce it
  1. Add -coder- to _SUPPORTED_NAME in strata_control/drafting.py, or coder to
    SUPPORTED_FAMILIES when the family is known.
  2. Start the Coder with --draft dflash2 --draft-model <q4_0 pack> --draft-fallback none.
  3. Read drafts accepted lines in the engine log; without the change the engine starts on MTP.
Reproduction status

Reproduced locally

Strata version

Strata 0.1.56 — engine 0.1.56

Graphics card, memory and system

RTX 4090 24 GB — 64 GB RAM — Windows 11 — Ryzen 9 5900X

Model, size and settings

Qwen3.8-Flash-Next GSQ-RCO Coder IQ1_M, 2026-10-17 build (first shard bfa3644d...), 128K context,
--vram-reserve-mib 1408, --draft dflash2 --draft-model <pack> --draft-fallback none. The pack is
the pinned incoai revision a22a1744.

Logs

The acceptance lines quoted above are the engine log output for this run. /v1/models reports
qwen3.8-flash-next-coder-iq1_m; the same pack on MTP produces the comparison row.

Suggestion

Add the Coder to the DFlash2-supported set, or expose an opt-in per model with the acceptance numbers
above in the documentation. The comment in drafting.py is the only thing that needs updating; the
engine and the pack are unchanged.

Prepared with AI assistance.

Lingua principale
C++
Stelle
11.6k
Fork
1k
Nessuna PR unita negli ultimi 30g

Preparare l'ambiente

Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di Niko1221/Strata

Tutte le issue di Niko1221/Strata

Issue simili

Altre issue su C++

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.