AE+CLIP+SSL Loss Balancing Coefficients
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 20/100
- Tipo de issue
- Documentación
- Claridad
- Necesita aclaración
- Estado de actividad
- Estancado
- Stack tecnológico
- python
- Área
- machine-learning
Línea de trabajo
Start with the updated technical report and the VTP tokenizer pre-training materials; no repository file or test is named in the issue. Clarify the loss coefficients and any training tricks used when AE, CLIP, and SSL objectives are combined, then document the answer where contributors can find it.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Hello @JingfengYao thank you for the great work. I am trying to reproducing the VTP tokenizer pre-training with all AE+CLIP+SSL objectives. In your updated technical report, I can see:
For weighting, we set 𝜆_rec = 0.1, while 𝜆_clip and 𝜆_ssl are set to either 0 or 1.
However, I guess that's for the AE+CLIP or AE+SSL version.
May I know how do you set the loss weighting coefficients when all the three objectives are present? I am also curious if you apply some tricks regarding this version during training.
I would appreciate any help on this.
- Lenguaje dominante
- Python
- Estrellas
- 509
- Forks
- 16
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de MiniMax-AI/VTP
-
About pretrain datasetAbierto
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
MiniMax-AI/VTP#10 ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 25/100
MiniMax-AI/VTP#9 · 1 comentario ·
-
Release of dataset features?Abierto
Dificultad 4/5 3-5 días Aptitud para principiantes 25/100
MiniMax-AI/VTP#6 · 1 comentario ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 25/100
MiniMax-AI/VTP#5 · 1 comentario ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 25/100
MiniMax-AI/VTP#4 · 1 comentario · 1 reacción ·
Todos los issues de MiniMax-AI/VTP
Issues similares
-
ACK_WAITING HELP_WANTED UPDATE_CS
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
OWASP/CheatSheetSeries#2458 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 90/100
BasedHardware/omi#19711 ·
Los mantenedores suelen responder en 1 día
-
Qwen3_5MoeModel no longer returns router_logits, breaking aux loss with output_router_logits=TrueAbierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
huggingface/transformers#49172 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
vllm-project/vllm-metal#885 ·
Los mantenedores suelen responder en 1 día