Community result: 2.5-3.1x output at 256K context on a 16 GB card (IQ3_S) - calibration, --spec 6, learned profile
メンテナーはふだん 4 日以内に返信
まだ誰も着手していません。
評価
調査の方向性
Locate the setup path invoked by START-HERE.bat --setup (the script/batch and any C++ or script code that regenerates the config file) and identify where the three calibrated settings are carried through the settings file while a manually added --expert-profile / --expert-profile-save pair is dropped. Decide on preserving the pair or printing a warning note. Done looks like: re-running --setup either keeps those flags or visibly warns, verified by running setup twice and inspecting the regenerated config.
索引モデルが issue の本文から書いたものです。
説明
Sharing a measured result and a writeup: docs/TUNING-256K-16GB.md on my fork ->
https://github.com/JiuYue0820/Strata/blob/docs-256k-tuning/docs/TUNING-256K-16GB.md
PC: RTX 5070 Ti 16 GB, i7-14700KF (8P+12E), 96 GB DDR5-5600, Windows, engine 0.1.38, Qwen3.8-Flash-Next IQ3_S (GSQ-RCO), vision encoder on GPU, context 262,144, KV int8 + streaming (--kv-resident 32768).
Changes: START-HERE.bat --calibrate (kept --pool-workers 13, --spec-min-p 0.70, --pcie-frac 0.00), --spec 6, and the learned expert profile (--expert-profile-save).
Benchmark: one 257,630-token prompt (this repo's own source/docs) through the HTTP API, greedy, reasoning_effort: none. "Warm" = prefix reused, which is how agent sessions actually run. Single runs, so the usual ±20% noise applies.
| Configuration | Cold | Warm |
|---|---|---|
Stock (--spec 4, no calibration, shipped profile) |
17.5 tok/s | 17.2 tok/s |
--spec 6 + calibrated |
43.0 tok/s | 53.5 tok/s |
| + learned expert profile | 45.5 tok/s | 47.0 tok/s |
Prompt reading went from 1,468 to 1,744 tok/s.
The calibration internals on this machine, in case they are useful data points:
--pool-workers: 19 → 36.9 tok/s, 13 → 54.4, 10 → 41.3 (E-cores stall every verify window; the defaults were measured on a 6-core Ryzen with no E-cores)--spec-min-p: 0.3 → 36.6, 0.5 → 41.7, 0.7 → 44.6--pcie-frac: 0.0 → 42.1, 0.2 → 37.9, 0.35 → 27.9, 0.55 → 23.9, 0.75 → 20.7 (PCIe 5 x16 + fast CPU: computing a missed expert beats copying it)
Also fills in the IQ3_S 262K row that DETAILS.md leaves unmeasured: on 96 GB of RAM it runs with room to spare, 38.8-53.5 tok/s across all post-tuning runs.
One documentation gap this exposed: a --setup re-run rewrites the config and silently drops a manually added --expert-profile/--expert-profile-save pair (the three calibrated settings survive via the settings file). Worth either preserving or printing a note.
- 主要言語
- C++
- スター
- 11.6k
- フォーク
- 1k
- PR マージ指標
- 30日以内にマージされた PR はありません
環境構築
このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
Niko1221/Strata のほかの issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
メンテナーはふだん 4 日以内に返信
-
[Engine] serve: an asked include_usage never gets the usage chunk of its own; spec-following clients count 0 tokens対応中かも このイシューにリンクされたプルリクエストがオープン中、またはマージ済みです。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
Niko1221/Strata#5448 · コメント 1 件 ·
メンテナーはふだん 4 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
Niko1221/Strata#5447 · コメント 2 件 ·
メンテナーはふだん 4 日以内に返信
-
難易度 1/5 1時間未満 初心者へのやさしさ 72/100
メンテナーはふだん 4 日以内に返信
-
難易度 1/5 1時間未満 初心者へのやさしさ 83/100
メンテナーはふだん 4 日以内に返信
Niko1221/Strata の issue をすべて見る
似ている issue
-
kind/bug priority/medium qa_automation
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
yugabyte/yugabyte-db#37324 ·
メンテナーはふだん 1 日以内に返信
-
難易度 1/5 1時間未満 初心者へのやさしさ 82/100
CharlotteCross1998/awesome-game-decompilations#61 · コメント 1 件 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
godotengine/godot#125240 ·
メンテナーはふだん 1 日以内に返信
-
難易度 1/5 1時間未満 初心者へのやさしさ 88/100
メンテナーはふだん 1 日以内に返信
-
new issue
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
llvm/llvm-project#240065 ·
メンテナーはふだん 1 日以内に返信