SGD applies weight decay to bias parameters as well
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 2/5
- Tiempo estimado
- 1-3 horas
- Aptitud para principiantes
- 82/100
- Tipo de issue
- Error
- Claridad
- Bien especificado
- Estado de actividad
- Activo
- Stack tecnológico
- python
- Área
- machine-learning
Línea de trabajo
Abre leanpass/optim.py e inspecciona SGD.step, donde se agrega weight_decay * param.data a cada gradiente de parámetro. Decide si se deben omitir los tensores cuyos nombres parezcan bias (o agregar una marca) o si se debe documentar que el decaimiento se aplica a todos los parámetros. Confirma el cambio ejecutando las pruebas de optimizador que existan en el repositorio, o un bucle de entrenamiento pequeño que compruebe las actualizaciones de bias frente a las de peso.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
File: leanpass/optim.py
The SGD.step implementation adds weight_decay * param.data to the gradient for all parameters. In most deep‑learning libraries weight decay (L2 regularization) is applied only to weight tensors, not to bias terms. This can lead to unexpected training dynamics. Provide an option to exclude bias parameters (e.g., by checking param.name or a flag) or document the current behavior clearly.
Filed automatically by ai-issue-scan.
- Lenguaje dominante
- Python
- Estrellas
- 16
- Forks
- 1
- Merge medio
- 2 d 8 h
- PR fusionados (30 d)
- 5
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Tiene una plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de Terminay/leanpass
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
-
performance
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
-
docs
Dificultad 1/5 Menos de una hora Aptitud para principiantes 88/100
Todos los issues de Terminay/leanpass
Issues similares
-
README.zh-CN/ja/es still hard-code 501 test counts after README.md went count-freePosiblemente ocupada @Aaqibhafeezkhan la tomó hoy. Abiertobeginner documentation good first issue
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
BistaDinesh03/critique#164 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
bug IO
Dificultad 2/5 1-3 horas Aptitud para principiantes 65/100
MrNeRF/LichtFeld-Studio#3824 ·
Los mantenedores suelen responder en 1 día
-
bug confirmed issue
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
open-webui/open-webui#33200 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Lychee link check failedAbierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 72/100
-
The changelog workflow excludes otelbot but not dependabot, so every Dependabot pull request fails the changelog checkPosiblemente ocupada @ocelotl la tomó hoy. Abierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 82/100
open-telemetry/opentelemetry-python#5825 ·
Los mantenedores suelen responder en 2 días