Verify evals on Papers with Code
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 2/5
- Tiempo estimado
- 1-3 horas
- Aptitud para principiantes
- 48/100
- Tipo de issue
- Documentación
- Claridad
- Bastante claro
- Estado de actividad
- Activo
- Área
- documentation
Línea de trabajo
Comienza con el paper enlazado de Papers with Code y sus páginas de resultados de OSWorld-Verified y Claw-Eval. Verifica cada puntuación importada, nombre de modelo, protocolo de benchmark y metadato de apertura con respecto al paper o a los artefactos oficiales de lanzamiento. El trabajo está terminado cuando se confirman las filas o se indican las correcciones específicas necesarias; no se mencionan archivos del repositorio ni tests.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Hi,
Niels here from the open-source team at Hugging Face. Congratulations on your work!
I've made the paper and 10 paper-native evaluations available on Papers with Code.
The paper has results on Agents, Coding Agents, Computer Use Agents, and 3 additional task pages.
The MiniMax M3 result currently ranks second on OSWorld-Verified (361 no-GDrive, 200 steps).
The MiniMax M3 result currently ranks third on Claw-Eval.
Would it be possible to verify these results and let me know if any score, model name, benchmark protocol, or openness metadata should be corrected? The imported rows are tied to the paper or its official release artifacts; comparison-table baselines were not added.
You can also edit the task, methods, project page, and GitHub URL directly from the paper page using your Hugging Face account.
If you'd like to showcase the results in your repository README, you can copy these live leaderboard badges (or use the “Copy PwC badge” button in the Results section):
Kind regards,
Niels
- Lenguaje dominante
- Sin datos de lenguaje
- Estrellas
- 487
- Forks
- 59
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de MiniMax-AI/MiniMax-M3
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 90/100
MiniMax-AI/MiniMax-M3#34 · 1 reacción ·
-
[M2.7 Bug] Abiertobug
Dificultad 4/5 3-5 días Aptitud para principiantes 45/100
MiniMax-AI/MiniMax-M3#35 ·
-
enhancement
Dificultad 4/5 3-5 días Aptitud para principiantes 45/100
MiniMax-AI/MiniMax-M3#33 ·
-
bug
Dificultad 4/5 3-5 días Aptitud para principiantes 42/100
MiniMax-AI/MiniMax-M3#31 ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
MiniMax-AI/MiniMax-M3#30 ·
Todos los issues de MiniMax-AI/MiniMax-M3
Issues similares
-
agent-ready documentation needs-triage
Dificultad 1/5 1-3 horas Aptitud para principiantes 88/100
-
untriaged
Dificultad 1/5 Menos de una hora Aptitud para principiantes 88/100
dotnet/dotnet-api-docs#13095 ·
-
documentation
Dificultad 1/5 Menos de una hora Aptitud para principiantes 91/100
-
workflow-status page template still says reusable workflows are "triggered only by workflow_call:" Abierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 92/100
-
refactor
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100