Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

Numerical instability in loss functions (`cross_entropy_loss` and `binary_cross_entropy_loss`)

Đang mở Phù hợp với người mới
  • Có gì không ổn?
#33 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
2/5
Thời gian dự kiến
1-3 giờ
Mức phù hợp với người mới
72/100
Loại issue
Lỗi
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Ít trao đổi
Công nghệ
python
Lĩnh vực
machine-learning

Hướng nghiên cứu

Bắt đầu với hai hàm mất mát trong leanpass/nn.py và theo dõi cách xác suất của chúng đến log. Kiểm tra cách các hàm hoạt động khi xác suất bằng 0 hoặc rất gần 0. Hoàn thành nghĩa là các giá trị mất mát và gradient vẫn hữu hạn với các đầu vào đó; issue đề xuất thêm epsilon hoặc sử dụng công thức ổn định hơn.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

enhancement

File: leanpass/nn.py

Both loss functions compute log of probabilities directly. When the probability is exactly 0 (possible due to underflow in softmax or sigmoid), the log returns -inf, leading to NaNs in the loss and gradients.

Enhancement: add a small epsilon (e.g., 1e-12) to the probabilities before taking the log, or use a more stable formulation such as log_softmax for cross‑entropy.

This aligns the library with typical deep‑learning expectations.

Filed automatically by ai-issue-scan.

Ngôn ngữ chính
Python
Star
16
Fork
1
Merge trung bình
2 ngày 8 giờ
Pull request đã merge (30 ngày)
5

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của Terminay/leanpass

Tất cả issue của Terminay/leanpass

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.