Restarting torchrun --nproc_per_node 2 examples/puzzletron/main.py fails

Đang mở
  • Có gì không ổn?
#1,668 1 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
30/100
Loại issue
Tính năng
Độ rõ ràng
Cần làm rõ
Mức độ hoạt động
Ít trao đổi
Công nghệ
python, pytorch
Lĩnh vực
distributed-systems, machine-learning

Hướng nghiên cứu

Bắt đầu với examples/puzzletron/main.py và puzzletron_nas_plugin.py, theo dõi các bước tiến trình và cách subblock_stats.json cùng các artifact đã chuyển đổi được xử lý. Xác định hành vi khởi động lại khi một node gặp lỗi, bao gồm việc scoring có thể tiếp tục mà không xóa các kết quả trước đó hay không và việc chuyển đổi có thể được bỏ qua hay không; done phải là một quá trình tiếp tục trơn tru, có tài liệu, từ trạng thái đã lưu.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

bug

modelopt:release/0.44.0

I run puzzletron algorithm on a slurm interactive node. After the node dies and I start a new one, I want to continue the run of the algorithm torchrun --nproc_per_node 2 examples/puzzletron/main.py. To continue from step 6/8.

When I run the command again it fails at:

bash-5.2# torchrun --nproc_per_node 1 examples/puzzletron/main.py --config examples/puzzletron/configs/llama-3_1-8B_pruneffn_memory/llama-3_1-8B_pruneffn_memory.yaml 2>&1 | tee ./log.txt | grep "Puzzletron Progress"
[2026-06-10 00:57:34,560][rank-0][main.py:70]   Puzzletron Progress 1/8: starting puzzletron pipeline
[2026-06-10 00:57:34,902][rank-0][puzzletron_nas_plugin.py:130] Puzzletron Progress 2/8: converting model to Puzzletron heterogeneous format (single-gpu)
[2026-06-10 00:58:01,260][rank-0][puzzletron_nas_plugin.py:148] Puzzletron Progress 3/8: scoring pruning activations (multi-gpu)
[2026-06-10 00:58:01,262][rank-0][puzzletron_nas_plugin.py:153] Puzzletron Progress 4/8: pruning the model and saving pruned checkpoints (single-gpu)
[2026-06-10 00:58:01,348][rank-0][puzzletron_nas_plugin.py:231] Puzzletron Progress 5/8: building replacement library and subblock statistics (single-gpu)

in log.txt:

[rank0]: ValueError: Subblock stats file /workspace/puzzle_dir/subblock_stats.json already exists and `merge_with_existing_stats` was set to False.

after deleting /workspace/puzzle_dir/subblock_stats.json and rerunning examples/puzzletron/main.py, the step 6/8 (scoring) starts from scratch and the previous results seems to be lost

suggestions:

  • please could you improve UX and allow a smooth restart of puzzletron algorithm
  • the step 2/8 (convert) runs again (about 30 sec), is it required as the converted artifact is already stored on disk?
Ngôn ngữ chính
Python
Star
5.5k
Fork
800
Merge trung bình
3 ngày 8 giờ
Pull request đã merge (30 ngày)
285

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của NVIDIA/Model-Optimizer

Tất cả issue của NVIDIA/Model-Optimizer

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.