Remove link to HEIM for diffusion model evaluation
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 1/5
- Tiempo estimado
- Menos de una hora
- Aptitud para principiantes
- 90/100
- Tipo de issue
- Documentación
- Claridad
- Bien especificado
- Estado de actividad
- Tranquilo
- Área
- documentation
Línea de trabajo
Abre la documentación de evaluación de Diffusers en docs/diffusers/conceptual/evaluation y localiza la recomendación de HEIM. Elimina el enlace a HEIM y su sugerencia de la lista; después, comprueba la página renderizada para confirmar que el resto de las indicaciones y los enlaces de evaluación siguen intactos.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
The doc page https://huggingface.co/docs/diffusers/conceptual/evaluation currently suggests using HEIM for diffusion model evaluation.
Unfortunately, HEIM is no longer officially supported or actively maintained (see stanford-crfm/helm#2161, stanford-crfm/helm#3741) and is currently not in a state that would function properly off the shelf.
From my experience, it is currently quite the pain to get some version of HEIM to somewhat function (it did involve some major manual rewrites and tons of dependency conflicts), and still I ran into trouble even reproducing the standard leaderboards.
I would hence recommend to remove HEIM from the list of suggested evaluation frameworks.
- Lenguaje dominante
- Python
- Estrellas
- 34.6k
- Forks
- 7.4k
- Merge medio
- 3 d 20 h
- PR fusionados (30 d)
- 55
Preparar el entorno
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de huggingface/diffusers
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 74/100
huggingface/diffusers#14864 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
huggingface/diffusers#14837 ·
Los mantenedores suelen responder en 1 día
-
bug needs-env-info pipelines
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
huggingface/diffusers#14794 ·
Los mantenedores suelen responder en 1 día
-
bug needs-code-example needs-env-info pipelines
Dificultad 1/5 Menos de una hora Aptitud para principiantes 86/100
huggingface/diffusers#14780 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
bug pipelines
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
huggingface/diffusers#14769 · 1 comentario ·
Los mantenedores suelen responder en 1 día
Todos los issues de huggingface/diffusers
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
PedestrianDynamics/pyFDS-Evac#199 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 65/100
521xueweihan/HelloGitHub#3790 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
sandialabs/atlas-ui-3#978 ·
Los mantenedores suelen responder en 1 día
-
area: tests perceived difficulty: 2
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
Nitjsefnie-Harness-Commons/daedalus#1255 ·
Los mantenedores suelen responder en 1 día
-
hf-audiolm-qwen: `generate_until` hardcodes `.to("cuda")` and aborts on non-CUDA acceleratorsAbierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 86/100
EleutherAI/lm-evaluation-harness#4256 ·
Los mantenedores suelen responder en 1 día