How were the VAE latent mean/std values obtained, and why are they used for latent scaling?
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 35/100
- Tipo de issue
- Documentación
- Claridad
- Necesita aclaración
- Estado de actividad
- Tranquilo
- Stack tecnológico
- python
- Área
- machine-learning
Línea de trabajo
Comienza siguiendo las implementaciones de las pipelines de Qwen-Image y Wan donde se aplica la normalización latente por canal. Revisa la documentación disponible de VAE y de entrenamiento, o el código de recopilación de estadísticas, para confirmar cómo se obtuvieron la media y la desviación estándar y por qué se utiliza el escalado; se considerará completado cuando se proporcione una explicación clara y con referencias.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Hi DiffSynth-Studio team,
Thank you for open-sourcing this project.
I noticed that the Qwen-Image/Wan pipeline applies fixed channel-wise normalization to the VAE latent:
latents = (latents - mean) / std
Could you clarify:
How were these mean and std values calculated?
Were they computed by encoding the training data, taking the posterior mean for each sample, and then calculating channel-wise statistics over all samples and spatial-temporal positions?
Why is this scaling necessary?
My guess is that the raw latent channels have different means and variances, so this normalization makes their scales more balanced, better matches the scale of Gaussian noise, and prevents high-variance channels from dominating the flow-matching loss.
It would be very helpful if you could confirm this or share the statistics-collection method. Thanks!
- Lenguaje dominante
- Python
- Estrellas
- 13.2k
- Forks
- 1.3k
- Merge medio
- 12 h 52 min
- PR fusionados (30 d)
- 20
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de modelscope/DiffSynth-Studio
-
WanToDance: hardcoded `device='cuda'` in music encoder construction crashes model loading on Ascend NPUPosiblemente ocupada @li-lizhe la tomó hace 19 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
modelscope/DiffSynth-Studio#1707 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Partial download surfaces as "Cannot detect the model type" rather than a download errorPosiblemente ocupada @MohammadHijjawi97 la tomó hace 16 días. Abierto
Dificultad 1/5 1-3 horas Aptitud para principiantes 78/100
modelscope/DiffSynth-Studio#1668 ·
Los mantenedores suelen responder en 1 día
-
bfloat16训练时段错误: 数组越界的一种方案Quizá libre de nuevo Un pull request para esta issue se cerró sin fusionarse. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
modelscope/DiffSynth-Studio#1499 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Latest update broke Wan2.2 S2VAbierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 78/100
modelscope/DiffSynth-Studio#1373 · 5 comentarios · 1 reacción ·
Los mantenedores suelen responder en 1 día
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 8/100
modelscope/DiffSynth-Studio#1735 · 9 comentarios ·
Los mantenedores suelen responder en 1 día
Todos los issues de modelscope/DiffSynth-Studio
Issues similares
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
huggingface/smolagents#2976 ·
Los mantenedores suelen responder en 1 día
-
pulp-cli 0.41 break username password auth in older configs (cert and key present but empty)Abiertobug Triage-Needed
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 66/100
FuRongJun-1999/dsh-memory#170 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
pgvector/pgvector-python#163 ·
-
[开源推荐] 打拼音就出篆书的输入法，附古文字创作小工具Abierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 82/100
521xueweihan/HelloGitHub#3940 ·