[BUG] Optimizer Weights Not Reloaded When Training with bf16 Pretrained Weights
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 2/5
- Thời gian dự kiến
- 1-3 giờ
- Mức phù hợp với người mới
- 35/100
- Loại issue
- Lỗi
- Độ rõ ràng
- Đặc tả rõ ràng
- Mức độ hoạt động
- Đình trệ
- Công nghệ
- python
- Lĩnh vực
- machine-learning
Hướng nghiên cứu
Bắt đầu trong third_party/Megatron-LM/megatron/checkpointing.py, tại điều kiện load_checkpoint quanh dòng 585. Xác minh hành vi của các trọng số optimizer khi tải các trọng số được huấn luyện trước bằng bf16, và xem issue là hoàn tất khi đường dẫn đó đặt lại các trọng số optimizer một cách nhất quán với fp16.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
While working with the load_checkpoint function in the file third_party/Megatron-LM/megatron/checkpointing.py, I noticed that the condition on line 585:
if args.fp16 and optimizer is not None:
should be modified to:
if (args.fp16 or args.bf16) and optimizer is not None:
Without it, when using bf16 and attempting to load pretrained model weights to continue training, the weights in the optimizer will not be reset to the pretrained model weights. As a result, the training process becomes virtually no different from starting the training from scratch.
I am aware that the proper course of action would be to submit a Pull Request to the Megatron-LM repository linked herein. However, I wanted to raise this issue here as well to alert others of the current problem in the codebase.
- Ngôn ngữ chính
- Python
- Star
- 1.6k
- Fork
- 228
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Chuẩn bị môi trường
- Có Dockerfile hoặc tệp Docker Compose
- Có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của databricks/megablocks
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
databricks/megablocks#188 · 2 bình luận ·
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 20/100
databricks/megablocks#184 ·
-
Compatibility with CUDA 13.0Đang mở
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 30/100
databricks/megablocks#180 · 1 bình luận ·
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 20/100
databricks/megablocks#179 ·
-
Issue with Sparse MLPĐang mở
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 35/100
databricks/megablocks#178 · 1 bình luận ·
Tất cả issue của databricks/megablocks
Issue tương tự
-
bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
conda-forge/conda-forge-bot#7025 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
chore(ci): publish.yml's release-job comment counts the hand-created Releases as all of themĐang mởarea:ci
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 74/100
catincloud-labs/dagster-dex#149 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 84/100
home-assistant/core#188424 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Review backlog (docs-currency): README 'CI run' link lands on a run whose overall badge is cancelledĐang mởagent/reviewer needs-kind needs-triage
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 63/100
projectbluefin/utah#880 · 2 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
redis/memtier_benchmark#850 ·
Maintainer thường phản hồi trong vòng 1 ngày