Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

[Benchmark] record the layer split (stages, split point, trim, residency) in the standard report

Aperta
  • Qualcosa non va?
#4,495 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 3 giorni

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
4/5
Tempo stimato
3-5 giorni
Idoneità per principianti
45/100
Tipo di issue
Funzionalità
Chiarezza
Abbastanza chiara
Stato di attività
Attiva
Stack tecnologico
cpp

Direzione di ricerca

Start with strata_cli/bench_facts.py and the standard benchmark runner, then compare how the serving-suite runner records /v1/telemetry fields in serve/server.py. Trace where per-request hit_rate and pcie_share are collected and summarized. Done means standard reports include each stage’s device, layer range, trim, resident experts and VRAM, plus per-case median metrics; update docs/BENCHMARK_PROTOCOL.md to match.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

Area

Benchmark

What do you want to do?

Record a layer split in the standard report: which card runs which layers, the split point, --trim-stage-weights, and the expert residency per stage.

Today hardware.gpus lists the cards in nvidia-smi order with no role or stage, configuration.offloading holds --layer-split as a bare option, and --trim-stage-weights, --peer-device and --ple-io fall into extensions.other_engine_options (GROUPS in strata_cli/bench_facts.py ~507-516). docs/BENCHMARK_PROTOCOL.md (~236) asks for "all inference GPUs, selected device indices", but selected is computed and then dropped. The server already has what is needed: /v1/telemetry carries topology.stages and selected_devices (serve/server.py ~7020-7040), and the serving-suite runner records them; the standard runner never asks. Expert residency per stage and the per-request hit_rate / pcie_share the server keeps (~5661-5683) have no field either, though they decide what a split's prompt and decode numbers mean.

Suggested: an extensions.topology block (stages with device index, name, layer range, trim, resident experts and VRAM) taken from /v1/telemetry, plus a per-case median of hit_rate and pcie_share in the summaries. Two-card reports (#4468 among them) would then be comparable without reading the engine log.

What do you do today instead?

Describe the split by hand in the README and attach the engine log where the runner kept it.

Hardware: 2x RTX 3090 24 GB (PCIe 3.0 x16, one per socket), 2x Xeon E5-2620 v3, 256 GB, Ubuntu 26.10. Version: 0.2.7 (engine 0.1.52, Control 0.1.52); code checked on main 46c152a1. Model: Flash-Next IQ3_S, layer split 25 with --trim-stage-weights, conversation cache 40 GiB / 16 slots; the full profile is in #4468.

Lingua principale
C++
Stelle
11.6k
Fork
1k
Nessuna PR unita negli ultimi 30g

Preparare l'ambiente

Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di Niko1221/Strata

Tutte le issue di Niko1221/Strata

Issue simili

Altre issue su C++

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.