megatron_mmlu hangs with context parallelism of 4
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 18/100
- issue の種類
- バグ
- 明瞭さ
- おおむね明確
- 活発さ
- 活発
- 技術スタック
- python
調査の方向性
The hang is in the MMLU evaluation path in modelopt/torch/utils/plugins/megatron_mmlu.py, exercised by test_megatron_generate_and_mmlu[cp] in tests/gpu_megatron/torch/utils/plugins/test_utils_megatron.py. Start by running that test with context_parallel_size=4 and checking which rank stalls and where the TE 'unbatched P2P op' warnings originate. Done means the MMLU run completes all 90 batches at CP=4 without the queue timeout.
索引モデルが issue の本文から書いたものです。
説明
megatron_mmlu (modelopt/torch/utils/plugins/megatron_mmlu.py, exercised by test_megatron_generate_and_mmlu[cp]) hangs with context parallelism of 4 ranks.
Repro
- Container
nvcr.io/nvidia/nemo:26.10on 4x GB300, Megatron-Bridge24b6adc89f5. pytest --run-manual tests/gpu_megatron/torch/utils/plugins/test_utils_megatron.py::test_megatron_generate_and_mmlu[cp]withcontext_parallel_size=4(get_mcore_qwen3_600m).
Symptom
- MMLU stays at 0/90 batches until the 600 s test timeout (
_queue.Empty). - TE logs "unbatched P2P op ... ProcessGroup size 4" warnings.
- CP=2 (DP=2 x CP=2) finishes in ~23 s; TP, PP and DP at 4 ranks pass.
Status
Not diagnosed. It may be an upstream TE/Megatron ring-attention P2P issue or a gap in ModelOpt's MMLU/generate path. The test caps CP at 2 in #3177; CI has no 4-GPU runners, so nothing exercises CP=4.
- 主要言語
- Python
- スター
- 5.5k
- フォーク
- 800
- 平均マージ
- 3日 8時間
- マージ済み PR（30日）
- 285
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートあり
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
NVIDIA/Model-Optimizer のほかの issue
-
[Bug] modelopt-mcp: all launcher subprocesses hang when the server runs as a stdio MCP server — missing stdin=DEVNULL対応中かも @ChenhanYu が 35 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 88/100
NVIDIA/Model-Optimizer#2551 · コメント 1 件 · 担当者 1 名 ·
メンテナーはふだん 1 日以内に返信
-
Puzzletron Progress 6/8 (calculating one block scores) takes 10 to 20 times more than in tutorial再び着手できるかも @tejasng053 が 42 日前に担当しましたが、オープン中のプルリクエストはありません。 オープンbug
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
NVIDIA/Model-Optimizer#1667 ·
メンテナーはふだん 1 日以内に返信
-
[ONNX] graph_surgery / llm_export compute head_dim as hidden_size // num_attention_heads, ignoring config.head_dim (breaks Qwen3, Gemma, Mistral-Small)対応中かも @sylvesterkaczmarek が 1 日前に担当しました。 オープンbug
難易度 3/5 1〜2日 初心者へのやさしさ 71/100
NVIDIA/Model-Optimizer#3245 · コメント 3 件 ·
メンテナーはふだん 1 日以内に返信
-
Alpamayo quantized model doesn't run and cannot be converted to TensorRT対応中かも @rohansjoshi が 1 日前に担当しました。 オープンbug torch.quantization waiting for feedback
NVIDIA/Model-Optimizer#3227 · 担当者 1 名 ·
メンテナーはふだん 1 日以内に返信
-
CUDA INT8 fake quantization converts channels-last inputs to default contiguous layout対応中かも @thuiaaa が 3 日前に担当しました。 オープン
難易度 3/5 1〜2日 初心者へのやさしさ 50/100
NVIDIA/Model-Optimizer#3195 ·
メンテナーはふだん 1 日以内に返信
NVIDIA/Model-Optimizer の issue をすべて見る
似ている issue
-
binding:python bug
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
メンテナーはふだん 1 日以内に返信
-
The Browser tab fails with a Wayland error when Open Terminal runs from a Wayland desktop sessionオープン
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
open-webui/open-terminal#210 ·
-
triage/confirmed
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
agentscope-ai/agentscope#3807 ·
メンテナーはふだん 2 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
NousResearch/hermes-agent#150542 ·
メンテナーはふだん 1 日以内に返信
-
難易度 1/5 1時間未満 初心者へのやさしさ 91/100
triton-inference-server/server#9069 ·
メンテナーはふだん 1 日以内に返信