Verify evals on Papers with Code
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 2/5
- Tiempo estimado
- 1-3 horas
- Aptitud para principiantes
- 62/100
- Tipo de issue
- Documentación
- Claridad
- Bastante claro
- Estado de actividad
- Activo
- Área
- machine-learning
Línea de trabajo
Comienza con el artículo enlazado y su página de Papers with Code; después, compara las ocho evaluaciones enumeradas con los resultados publicados en el artículo. Comprueba cada puntuación, nombre del modelo, protocolo del benchmark y metadatos de apertura; el trabajo estará terminado cuando los confirmes o informes de las correcciones específicas necesarias.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Hi,
Niels here from the open-source team at Hugging Face. Congratulations on your work!
I've made the paper and 8 paper-native evaluations available on Papers with Code.
The paper has results on Reasoning, World Knowledge, Classic Language Modeling, and 1 additional task page.
Would it be possible to verify these results and let me know if any score, model name, benchmark protocol, or openness metadata should be corrected?
You can also edit the task, methods, project page, and GitHub URL directly from the paper page using your Hugging Face account.
Kind regards,
Niels
- Lenguaje dominante
- Python
- Estrellas
- 225
- Forks
- 12
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de IBM/ModuleFormer
-
Will you open the train code？ Abierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 15/100
IBM/ModuleFormer#11 ·
-
Length exploration Abierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100
IBM/ModuleFormer#9 ·
Todos los issues de IBM/ModuleFormer
Issues similares
-
[Bug] reef-hermes tells me to resume with hermes --resume, which does not work from my shell Abiertoarea: harness bug status: needs-triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
Human-Agent-Society/reef#625 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 80/100
learningequality/kolibri#15351 · 2 comentarios ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
-
Name consistency Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
eellak/triplestore#65 · 1 comentario ·