finetuning loss
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 20/100
- Tipo de issue
- Documentación
- Claridad
- Necesita aclaración
- Estado de actividad
- Estancado
- Stack tecnológico
- python
- Área
- machine-learning
Línea de trabajo
Empieza revisando el código de finetune mencionado en el issue e identifica cómo se calcula la loss para la sección <|Human|> frente a la loss del modelado de lenguaje condicionado. Compara los dos objetivos de entrenamiento y documenta las ventajas y desventajas prácticas; el issue estará completo cuando la distinción y los beneficios estén explicados con claridad.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
在finetune代码中，<|Human|>部分也加入了loss的计算，想请教下这样相比conditioning language modeling loss有什么特别的好处吗？
- Lenguaje dominante
- Python
- Estrellas
- 12.3k
- Forks
- 1.1k
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de OpenMOSS/MOSS
-
windows的生成速度真的慢到令人发指Abierto
Dificultad 4/5 3-5 días Aptitud para principiantes 38/100
-
version?Abierto
Dificultad 4/5 3-5 días Aptitud para principiantes 20/100
-
Dificultad 3/5 1-2 días Aptitud para principiantes 30/100
-
moss为什么不更新了Abierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 10/100
-
moss-moon-003-sft Jupyter测试失败Abierto
Dificultad 3/5 1-2 días Aptitud para principiantes 35/100
Todos los issues de OpenMOSS/MOSS
Issues similares
-
area:core-platform effort:S priority:P3 status:in-review type:test
Dificultad 2/5 Menos de una hora Aptitud para principiantes 80/100
randomparity/kdive#3246 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Requantification library converts m/z to mass with the hydrogen-atom mass instead of the proton massAbiertobug
Dificultad 1/5 Menos de una hora Aptitud para principiantes 85/100
nf-core/metaboigniter#130 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
common-workflow-language/cwl-utils#477 ·
Los mantenedores suelen responder en 1 día
-
Add dependabotAbiertofeat
Dificultad 2/5 Menos de una hora Aptitud para principiantes 72/100
open-nudge/opentemplate#204 ·
Los mantenedores suelen responder en 1 día
-
github-stale-ci-pr-closer: KV state is double-wrapped, never persists, and hits the depth-32 limitPosiblemente ocupada @VascoSch92 la tomó hoy. Abiertopriority:medium ready-for-dev
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
OpenHands/extensions#781 ·
Los mantenedores suelen responder en 1 día