Why Does vf_loss Take the Maximum Value, Rendering Clamp Meaningless?
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 25/100
- Loại issue
- Lỗi
- Độ rõ ràng
- Cần làm rõ
- Mức độ hoạt động
- Đình trệ
- Công nghệ
- python
- Lĩnh vực
- machine-learning
Hướng nghiên cứu
Bắt đầu bằng cách đọc phần triển khai critic_loss_fn được hiển thị trong issue, tập trung vào values_clipped, vf_loss1, vf_loss2, torch.max và mask. So sánh cách tính loss với hành vi value-loss dự kiến và xác định liệu clamp có hiệu quả hay không; được xem là hoàn tất khi đã ghi lại lý do hoặc xác định được một vấn đề triển khai đã được xác nhận.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
critic_loss:
def critic_loss_fn(self, values, old_values, returns, mask):
value loss
values_clipped = torch.clamp(
values,
old_values - self.cliprange_value,
old_values + self.cliprange_value,
)
vf_loss1 = (values - returns) ** 2
vf_loss2 = (values_clipped - returns) ** 2
vf_loss = 0.5 * torch.sum(
torch.max(vf_loss1, vf_loss2) * mask) / mask.sum()
return vf_loss
Why does vf_loss take the maximum value? If that's the case, wouldn't the clamp be meaningless?
- Ngôn ngữ chính
- Python
- Star
- 6.8k
- Fork
- 1.1k
- Merge trung bình
- 3 ngày 20 giờ
- Pull request đã merge (30 ngày)
- 5
Chuẩn bị môi trường
Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của deepspeedai/DeepSpeedExamples
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 52/100
deepspeedai/DeepSpeedExamples#996 ·
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100
deepspeedai/DeepSpeedExamples#995 ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 52/100
deepspeedai/DeepSpeedExamples#989 ·
-
moe example 404Đang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100
deepspeedai/DeepSpeedExamples#984 ·
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 42/100
deepspeedai/DeepSpeedExamples#979 · 6 bình luận ·
Tất cả issue của deepspeedai/DeepSpeedExamples
Issue tương tự
-
python triage
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
microsoft/semantic-kernel#14590 ·
Maintainer thường phản hồi trong vòng 3 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 85/100
pinterest/pymemcache#662 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 Nửa ngày Mức phù hợp với người mới 62/100
gnocchixyz/gnocchi#1527 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 64/100
tenstorrent/tt-model-manager#181 ·
Maintainer thường phản hồi trong vòng 1 ngày