Numerical instability in loss functions (`cross_entropy_loss` and `binary_cross_entropy_loss`)
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 2/5
- Thời gian dự kiến
- 1-3 giờ
- Mức phù hợp với người mới
- 72/100
- Loại issue
- Lỗi
- Độ rõ ràng
- Khá rõ ràng
- Mức độ hoạt động
- Ít trao đổi
- Công nghệ
- python
- Lĩnh vực
- machine-learning
Hướng nghiên cứu
Bắt đầu với hai hàm mất mát trong leanpass/nn.py và theo dõi cách xác suất của chúng đến log. Kiểm tra cách các hàm hoạt động khi xác suất bằng 0 hoặc rất gần 0. Hoàn thành nghĩa là các giá trị mất mát và gradient vẫn hữu hạn với các đầu vào đó; issue đề xuất thêm epsilon hoặc sử dụng công thức ổn định hơn.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
File: leanpass/nn.py
Both loss functions compute log of probabilities directly. When the probability is exactly 0 (possible due to underflow in softmax or sigmoid), the log returns -inf, leading to NaNs in the loss and gradients.
Enhancement: add a small epsilon (e.g., 1e-12) to the probabilities before taking the log, or use a more stable formulation such as log_softmax for cross‑entropy.
This aligns the library with typical deep‑learning expectations.
Filed automatically by ai-issue-scan.
- Ngôn ngữ chính
- Python
- Star
- 16
- Fork
- 1
- Merge trung bình
- 2 ngày 8 giờ
- Pull request đã merge (30 ngày)
- 5
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của Terminay/leanpass
-
bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
-
bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
-
bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
-
enhancement
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
-
performance
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
Tất cả issue của Terminay/leanpass
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
CLIMADA-project/climada_python#1337 ·
Maintainer thường phản hồi trong vòng 3 ngày
-
tail without reverseĐang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
8go/matrix-commander#233 ·
-
documentation
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 66/100
-
documentation enhancement priority:high size:M
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Validate non-divisible effective batch sizes in the Unsloth LoRA backendCó thể đã có người làm @debesh-biswas đã nhận hôm nay. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100