白盒蒸馏是loss融合问题
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 35/100
- Tipo de issue
- Error
- Claridad
- Necesita aclaración
- Estado de actividad
- Estancado
- Stack tecnológico
- python
- Área
- machine-learning
Línea de trabajo
Comienza con easydistill/kd/train.py en la línea 131 e inspecciona cómo se calculan y combinan lm_loss, distil_loss y kd_ratio. Compara sus escalas durante el entrenamiento usando los valores reportados en el issue. Done debe establecer si el término de destilación contribuye de forma significativa y documentar o implementar un cambio acordado de loss-balancing, con validación a partir del comportamiento del entrenamiento.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
total_loss = (1 - self.kd_ratio) * lm_loss + self.kd_ratio * distil_loss
这里lm_loss和distil_loss在数量级上面差了近百倍，千倍，这样直接融合是否有意义？实际数据看lm_loss刚开始都是几十，最后收敛也到了0.1量级，但distil_loss是最开始也是0.001量级，收敛到0.0001量级，这样加权distill_loss基本没效果
- Lenguaje dominante
- Python
- Estrellas
- 482
- Forks
- 47
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de modelscope/easydistill
-
请问可以自定义学生模型吗？Abierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
modelscope/easydistill#39 ·
-
白盒蒸馏训练时如何选取top_k logits进行训练？Abierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100
modelscope/easydistill#38 ·
-
白盒蒸馏效果问题Abierto
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
modelscope/easydistill#37 ·
-
Dificultad 3/5 1-2 días Aptitud para principiantes 45/100
modelscope/easydistill#33 ·
-
这个蒸馏框架还在维护吗？Abierto
Dificultad 3/5 1-2 días Aptitud para principiantes 25/100
modelscope/easydistill#32 · 2 comentarios ·
Todos los issues de modelscope/easydistill
Issues similares
-
Use mhctools predictor_required=False for saved-result rescoringPosiblemente ocupada @iskandr la tomó hoy. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 79/100
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 85/100
521xueweihan/HelloGitHub#4051 · 1 comentario ·
-
bug documentation
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
awslabs/visual-asset-management-system#514 ·
Los mantenedores suelen responder en 1 día
-
backend bug spec:REQ-053
Dificultad 2/5 1-3 horas Aptitud para principiantes 66/100
nolte/kamerplanter#2547 ·
Los mantenedores suelen responder en 1 día