megatron_mmlu hangs with context parallelism of 4

Đang mở
  • Có gì không ổn?
#3,178 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
18/100
Loại issue
Lỗi
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
python
Lĩnh vực
distributed-systems, machine-learning

Hướng nghiên cứu

The hang is in the MMLU evaluation path in modelopt/torch/utils/plugins/megatron_mmlu.py, exercised by test_megatron_generate_and_mmlu[cp] in tests/gpu_megatron/torch/utils/plugins/test_utils_megatron.py. Start by running that test with context_parallel_size=4 and checking which rank stalls and where the TE 'unbatched P2P op' warnings originate. Done means the MMLU run completes all 90 batches at CP=4 without the queue timeout.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

megatron_mmlu (modelopt/torch/utils/plugins/megatron_mmlu.py, exercised by test_megatron_generate_and_mmlu[cp]) hangs with context parallelism of 4 ranks.

Repro

  • Container nvcr.io/nvidia/nemo:26.10 on 4x GB300, Megatron-Bridge 24b6adc89f5.
  • pytest --run-manual tests/gpu_megatron/torch/utils/plugins/test_utils_megatron.py::test_megatron_generate_and_mmlu[cp] with context_parallel_size=4 (get_mcore_qwen3_600m).

Symptom

  • MMLU stays at 0/90 batches until the 600 s test timeout (_queue.Empty).
  • TE logs "unbatched P2P op ... ProcessGroup size 4" warnings.
  • CP=2 (DP=2 x CP=2) finishes in ~23 s; TP, PP and DP at 4 ranks pass.

Status
Not diagnosed. It may be an upstream TE/Megatron ring-attention P2P issue or a gap in ModelOpt's MMLU/generate path. The test caps CP at 2 in #3177; CI has no 4-GPU runners, so nothing exercises CP=4.

Ngôn ngữ chính
Python
Star
5.5k
Fork
800
Merge trung bình
3 ngày 10 giờ
Pull request đã merge (30 ngày)
282

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của NVIDIA/Model-Optimizer

Tất cả issue của NVIDIA/Model-Optimizer

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.