Hacktoberfest 2026：メンテナが10月に向けて印を付けた、オープンで初心者向けの issue。 Hacktoberfest の issue を見る

524K via rope-scaling on consumer Blackwell (sm_120, no clusters): the histogram fallback works end to end — field data + two budget gotchas on 16GB cards

クローズ
  • 何か問題がありますか？
#760 コメント 2 件 リアクション 0 件 担当者 0 名 GitHub で見る

メンテナーはふだん 1 日以内に返信

まだ誰も着手していません。

評価

難易度
2/5
見積もり時間
1〜3時間
初心者へのやさしさ
54/100
issue の種類
ドキュメント
明瞭さ
おおむね明確
活発さ
活発
技術スタック
cpp
領域
documentation, performance

調査の方向性

README の rope-scaling CLI セクション（384K/512K の「experimental」エントリ）と、--prefill、--vram-reserve-mib、エキスパートキャッシュのステージングを扱うドキュメントを読む。完了の条件：脚注として、sm_120 のコンシューマー向け Blackwell では qsa_block_topk の選択がクラスタカーネルではなくヒストグラムパス（qsa_select.cu 参照）にフォールバックすることを記述し、さらに --prefill 4096 が必須となる 524K の KV プールとステージングのトレードオフに関する注記を付けること。文言は issue で測定された挙動と照合すること。コード変更は不要。

索引モデルが issue の本文から書いたものです。

説明

Your README lists 384K/512K (experimental) via the rope-scaling CLI. Just filed field data for the corner nobody can test in CI: consumer Blackwell (RTX 5060 Ti 16GB, sm_120) has no thread-block clusters, so qsa_block_topk runs entirely through the histogram fallback at those contexts — and it works, end to end, past the trained window.

Rig: 4x 5060 Ti (gen5, x8/x4/x8/x4), 9950X, 128GB DDR5-5000. Engine: the eddoursul/Strata custom fork extended to 4-GPU expert tiers (our build: https://github.com/johnmosesventura06/strata-4gpu, PR https://github.com/eddoursul/Strata/pull/4 carries your qsa_select.cu + rope_scaling machinery onto that fork), UD-Q4_K_XL, int8 KV, MTP on.

At --rope-scaling yarn --rope-scale 2.0 --max-context 524288:

  • boot READY, rope scaling yarn, factor 2 (freq_scale 0.5, mscale 1.069315) — mscale exactly 1 + 0.1*ln(2)
  • 281,535-token cold prompt: 1,418 t/s prefill; decode at 225K–312K depth: 84–111 t/s
  • warm replay of the 312K prompt: 12 ms (312,134 tokens from checkpoints)
  • identity gate: --rope-scale 1.0 @196,608 reproduced the unscaled decode band (98.2 t/s) — the scaling path is bit-neutral when off

Two budget facts on 16GB cards that the CLI docs don't mention:

  1. At 524K the KV pool (~3.7GB int8) lands before the auto expert cache sizes itself; main-card residency drains to ~202 slots and ranked experts fall to host/tier. Measured cost is modest (decode -5% per residency halving), but the staging consequence is hard: --prefill 24576's ~2.4GB of device buffers can no longer borrow or allocate and the engine dies between load and READY. --prefill 4096 boots; the chunk clamp itself costs 18% of prefill (A/B'd with residency held constant: 2,159 -> 1,778 t/s at 256K with a fat cache).
  2. --vram-reserve-mib is not the escape hatch: raising it to buy the staging back starves the ~1.4GB weight arena first and dies before that. The real lever at 524K is KV-side bytes (k8v4 — we haven't gaunted it yet).

And one doc suggestion: 384K/512K "experimental" probably needs a footnote that on sm_120 (all consumer Blackwell) selection lands on the histogram fallback rather than the cluster kernel — users will otherwise read "unsupported geometry or cap"-adjacent failures as broken rather than as the intended fallback... which, to be fair, this run proves is not broken.

Happy to re-run any arm on this box if it helps you pin the fallback's geometry limits.

主要言語
C++
スター
11.6k
フォーク
1k
30日以内にマージされた PR はありません

環境構築

このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

Niko1221/Strata のほかの issue

Niko1221/Strata の issue をすべて見る

似ている issue

C++ の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。