how to get the evaluation result of gemma4?

Evaluación

Línea de trabajo

Descripción

I find that the evaluation result of gemme4 is different from the paper, Could you please share how to evaluate gemma4?
paper:

here:

from leader board

Preparar el entorno

Primeros pasos

1. Lee el issue completo y luego la guía de contribución del proyecto.
2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
3. Haz un fork del repositorio y trabaja en una rama.
4. Abre un pull request que haga referencia al número del issue.

Más de OpenBMB/MiniCPM

• Verify evals on Papers with Code

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 1/5 Menos de una hora Aptitud para principiantes 78/100

  OpenBMB/MiniCPM#378 · Abierto el 15/9/2026

• Permission request: non-commercial research mirror of tokenized UltraData sets (SHADOW-125M)

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 5/5 Más de una semana Aptitud para principiantes 15/100

  OpenBMB/MiniCPM#383 · Abierto el 26/9/2026

• [Feature Request]: how to use megatron of ms-swift to finetune minicpm5-2b

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar
  feature

  Dificultad 4/5 3-5 días Aptitud para principiantes 35/100

  OpenBMB/MiniCPM#380 · 1 comentario · Abierto el 18/9/2026

• [Bug]: MiniCPM5 chat template may lose text after <tool_sep> due to loop-local assignments

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 3/5 1-2 días Aptitud para principiantes 62/100

  OpenBMB/MiniCPM#379 · Abierto el 17/9/2026

• Request official evaluation scripts/configs for reproducing MiniCPM5-2B benchmark results

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

  OpenBMB/MiniCPM#376 · 1 comentario · Abierto el 11/9/2026

Todos los issues de OpenBMB/MiniCPM

Issues similares

• Docs never explain image replay cost with native-vision models or the tools.media.models[] opt-out

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar
  clawsweeper:linked-pr-open clawsweeper:no-new-fix-pr impact:ux-friction issue-rating: 🌊 off-meta tidepool P2

  Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100

  openclaw/openclaw#159202 · 1 comentario · 1 reacción · Abierto el 26/9/2026

  Los mantenedores suelen responder en 1 día

• [Bug]: delegate_task output_schema: a failed or interrupted retry turn replaces the child's answer with the error text

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar
  comp/tools P2 tool/delegate type/bug

  Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100

  NousResearch/hermes-agent#124460 · Abierto el 26/9/2026

  Los mantenedores suelen responder en 1 día

• Amazon as Lab ?

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100

  anomalyco/models.dev#8163 · 1 comentario · Abierto el 26/9/2026

  Los mantenedores suelen responder en 1 día

• Python: text_chunker's was_split flag can never be True, so every separator tier always runs (dead early-exit)

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar
  python triage

  Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100

  microsoft/semantic-kernel#14490 · Abierto el 26/9/2026

  Los mantenedores suelen responder en 2 días

• [BUG] CriticAgent overwrites ChatAgent's retry_attempts clamp, so retry_attempts=0 answers at random without calling the model

  Abierto

  ⋯Informar de un problema con este issue

  • ¿Algo no está bien?

  • Ya está asignado
  • No es para principiantes
  • Obsoleto o no válido
  • Otra cosa…
  • Enviar Cancelar

  Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100

  camel-ai/camel#4378 · 1 comentario · Abierto el 26/9/2026

  Los mantenedores suelen responder en 1 día

Más issues de AI Infra & Agents