[Puzzletron] Runtime stats benchmark model computes head size as hidden_size // num_attention_heads instead of reading head_dim
メンテナーはふだん 2 日以内に返信
評価
この issue はまだ評価されていません。
説明
Follow-up to #3009, which fixed the Puzzletron memory objective to use the model's head_dim for the KV cache (#2482).
The runtime objective has the same root cause. calc_runtime_stats.create_benchmark_model builds the synthetic Llama benchmark model with:
model_config = LlamaConfig(
hidden_size=hidden_size, # candidate hidden size
num_attention_heads=num_attention_heads,
head_dim=None, # Compute from hidden_size // num_attention_heads instead of using default 128
...
)
So when runtime_stats_enabled=True, the benchmarked attention uses hidden_size // num_attention_heads as its head size, which is wrong in two cases:
- Models that set
head_dimindependently, e.g. Mistral-Small-24B (160 instead of 128) or gpt-oss-20b (45 instead of 64). - Every candidate with a pruned
hidden_size. Pruning leaveshead_dimunchanged, but here it shrinks with the candidate hidden size.
As a result, the latency numbers fed to the MIP are skewed the same way the memory numbers were before #3009.
Suggested fix: pass the parent's head size, get_attention_head_dim(descriptor.get_language_model_config(model_config)) from modelopt/torch/puzzletron/utils/misc.py, into create_benchmark_model as head_dim. Validate with a vLLM runtime-stats run.
Raised in the review of #3009: https://github.com/NVIDIA/Model-Optimizer/pull/3009#discussion_r4374334841
- 主要言語
- Python
- スター
- 5.5k
- フォーク
- 785
- 平均マージ
- 3日 22時間
- マージ済み PR（30日）
- 277
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートあり
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
NVIDIA/Model-Optimizer のほかの issue
-
[Bug] modelopt-mcp: all launcher subprocesses hang when the server runs as a stdio MCP server — missing stdin=DEVNULL対応中かも @ChenhanYu が 28 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 88/100
NVIDIA/Model-Optimizer#2551 · コメント 1 件 · 担当者 1 名 ·
メンテナーはふだん 2 日以内に返信
-
Puzzletron Progress 6/8 (calculating one block scores) takes 10 to 20 times more than in tutorial再び着手できるかも @tejasng053 が 35 日前に担当しましたが、オープン中のプルリクエストはありません。 オープンbug
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
NVIDIA/Model-Optimizer#1667 ·
メンテナーはふだん 2 日以内に返信
-
INT4 packing extension never loads from a read-only install対応中かも @ajrasane が 2 日前に担当しました。 オープン
難易度 4/5 3〜5日 初心者へのやさしさ 35/100
NVIDIA/Model-Optimizer#3025 · 担当者 1 名 ·
メンテナーはふだん 2 日以内に返信
-
feature request
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
NVIDIA/Model-Optimizer#2865 ·
メンテナーはふだん 2 日以内に返信
-
GGML fake-quant keeps stale codes after a bitsandbytes optimizer step, so QAT/QAD silently stops training the quantized weights対応中かも @dcaayushd が 12 日前に担当しました。 オープン
難易度 4/5 3〜5日 初心者へのやさしさ 54/100
NVIDIA/Model-Optimizer#2857 · 担当者 1 名 ·
メンテナーはふだん 2 日以内に返信
NVIDIA/Model-Optimizer の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
メンテナーはふだん 1 日以内に返信
-
namespace operations
難易度 1/5 1時間未満 初心者へのやさしさ 65/100
EclipseFdn/open-vsx.org#15057 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
FinanceFlash/unvibecode#349 ·
-
Mission statement: why this is free, in the README, Why This Exists and the wiki Home対応中かも @ChiefGyk3D が今日担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
ChiefGyk3D/Clouds-Against-Humanity#348 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 74/100
vllm-project/vime#508 ·
メンテナーはふだん 4 日以内に返信