Verify evals on Papers with Code
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 1/5
- Tiempo estimado
- Menos de una hora
- Aptitud para principiantes
- 78/100
- Tipo de issue
- Documentación
- Claridad
- Bien especificado
- Estado de actividad
- Activo
- Stack tecnológico
- huggingface
- Área
- documentation
Línea de trabajo
Abre la página del paper vinculada en Papers with Code y sus 14 páginas de resultados de tareas. Compara las puntuaciones, los nombres de los modelos, los protocolos de benchmark y los metadatos de apertura indicados con el paper del proyecto, y comunica o aplica las correcciones necesarias a través de la página del paper. Se considera terminado cuando las entradas publicadas se hayan verificado o se hayan identificado discrepancias.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Hi,
Niels here from the open-source team at Hugging Face. Congratulations on your work!
I've made the paper and 14 paper-native evaluations available on Papers with Code.
The paper has results on Mathematics, World Knowledge, Instruction Following, and 4 additional task pages.
Would it be possible to verify these results and let me know if any score, model name, benchmark protocol, or openness metadata should be corrected?
You can also edit the task, methods, project page, and GitHub URL directly from the paper page using your Hugging Face account.
Kind regards,
Niels
- Lenguaje dominante
- Jupyter Notebook
- Estrellas
- 11.1k
- Forks
- 766
- Merge medio
- 5 h 3 min
- PR fusionados (30 d)
- 6
Preparar el entorno
Aún no hemos revisado los archivos de configuración de este proyecto. Empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de OpenBMB/MiniCPM
-
Permission request: non-commercial research mirror of tokenized UltraData sets (SHADOW-125M)Abierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 15/100
-
Dificultad 3/5 1-2 días Aptitud para principiantes 55/100
-
feature
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
-
Dificultad 3/5 1-2 días Aptitud para principiantes 62/100
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
Todos los issues de OpenBMB/MiniCPM
Issues similares
-
module-request
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
Los mantenedores suelen responder en 1 día
-
Complexity: Small P-Feature: Projects page ready for merge team role: back end/devOps role: front end size: 0.25pt
Dificultad 1/5 1-3 horas Aptitud para principiantes 88/100
Los mantenedores suelen responder en 1 día
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 67/100
bellingcat/toolkit#905 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
blinklabs-io/gouroboros#2577 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
Los mantenedores suelen responder en 1 día