Numerical instability in loss functions (`cross_entropy_loss` and `binary_cross_entropy_loss`)
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 2/5
- Tiempo estimado
- 1-3 horas
- Aptitud para principiantes
- 72/100
- Tipo de issue
- Error
- Claridad
- Bastante claro
- Estado de actividad
- Tranquilo
- Stack tecnológico
- python
- Área
- machine-learning
Línea de trabajo
Empieza con las dos funciones de pérdida en leanpass/nn.py y traza cómo sus probabilidades llegan a log. Verifica cómo se comportan las funciones cuando las probabilidades son cero o muy cercanas a cero. Hecho significa que las pérdidas y los gradientes se mantienen finitos para esas entradas; el issue sugiere agregar épsilon o usar una formulación más estable.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
File: leanpass/nn.py
Both loss functions compute log of probabilities directly. When the probability is exactly 0 (possible due to underflow in softmax or sigmoid), the log returns -inf, leading to NaNs in the loss and gradients.
Enhancement: add a small epsilon (e.g., 1e-12) to the probabilities before taking the log, or use a more stable formulation such as log_softmax for cross‑entropy.
This aligns the library with typical deep‑learning expectations.
Filed automatically by ai-issue-scan.
- Lenguaje dominante
- Python
- Estrellas
- 16
- Forks
- 1
- Merge medio
- 2 d 8 h
- PR fusionados (30 d)
- 5
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Tiene una plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de Terminay/leanpass
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
-
enhancement
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
-
performance
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Todos los issues de Terminay/leanpass
Issues similares
-
bug P2 rust
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
Los mantenedores suelen responder en 1 día
-
enhancement
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
jscott3201/rusty-bacnet#2085 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
evarness-ai/iris-harness#401 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
sistemicorp/scripts#62 ·
-
area/mac help wanted needs-qa
Dificultad 1/5 Menos de una hora Aptitud para principiantes 76/100