[Benchmark] bench run records the driver's CUDA ceiling as the engine runtime for a component: profile

Aperta
  • Qualcosa non va?
#4,491 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 3 giorni

@coryjett ci sta già lavorando.

Dal 30/10/2026.

  • #4719 di @coryjett — aperta

Valutazione

Difficoltà
3/5
Tempo stimato
1-2 giorni
Idoneità per principianti
70/100
Tipo di issue
Bug
Chiarezza
Specificata chiaramente
Stato di attività
Attiva
Stack tecnologico
python
Ambito
cli, tooling

Direzione di ricerca

Start with strata_cli/bench_standard.py around line 817 and trace how setup-made profiles pass the component:strata-engine reference to engine_build_runtime in strata_cli/bench_facts.py around lines 402–412. Read how strata_control.engine_component resolves component references, then reproduce with strata bench run --profile <setup-made profile> --no-start. Done when software.runtime in results.json reflects the engine component manifest's build runtime rather than the driver version.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

Area

Benchmark

Desktop app, Terminal or source?

Terminal (Linux release 0.2.7, Control 0.1.52); the same code is on main at 46c152a1.

What happened

For a profile made by setup, strata bench run records the driver's CUDA ceiling as the engine's build runtime. Our results.json says software.runtime = [{"name": "cuda", "version": "13.0"}] with build_kind: release; the engine's own manifest (~/.local/share/strata/components/engine/0.1.52-linux-x86_64-cuda-cuda13/engine-component.json) is what should be read.

Cause: strata_cli/bench_standard.py (~817) calls facts.engine_build_runtime(plan.get("engine_exe")), and for a setup-made profile engine_exe is the reference "component:strata-engine" (our profile; the default written by launch/adopt.py). engine_build_runtime (strata_cli/bench_facts.py ~402-412) looks for engine-component.json beside that literal string, finds nothing and returns None; the runtime then falls back to nvidia-smi's driver version, which the code's own comment says is not the runtime.

Suggested: resolve a component: reference through strata_control.engine_component before looking for the manifest. Happy to send a PR.

Smallest steps or command that reproduce it

strata bench run --profile <a setup-made profile> --no-start; compare software.runtime in results.json with the engine component's build_id.

Reproduction status

Reproduced locally (#4468's standard run).

Strata version

0.2.7 (engine 0.1.52, Control 0.1.52); code checked on main 46c152a1.

Graphics card, memory and system

2x RTX 3090 24 GB (PCIe 3.0 x16, one per socket), 2x Xeon E5-2620 v3, 256 GB, Ubuntu 26.10.

Model, size and settings

Flash-Next IQ3_S, layer split 25 with --trim-stage-weights, conversation cache 40 GiB / 16 slots; the full profile is in #4468.

Logs

None needed.

Lingua principale
C++
Stelle
11.6k
Fork
1k
Nessuna PR unita negli ultimi 30g

Preparare l'ambiente

Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di Niko1221/Strata

Tutte le issue di Niko1221/Strata

Issue simili

Altre issue su C++

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.