LiveMath scores imply 125 test items, but the released split has 124
Los mantenedores suelen responder en 2 días
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 3/5
- Tiempo estimado
- 1-2 días
- Aptitud para principiantes
- 45/100
- Tipo de issue
- Error
- Claridad
- Bastante claro
- Estado de actividad
- Tranquilo
- Stack tecnológico
- python
- Área
- data, documentation
Línea de trabajo
Comienza comparando los recuentos del manifiesto de LiveMath publicado con los denominadores implícitos en la Tabla 1 y, después, revisa la discusión en el issue relacionado #108. Se considera terminado cuando se confirme qué split produjo las puntuaciones informadas y se publique el manifiesto original o los resultados por elemento, si están disponibles.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Hi SkillOpt team,
I found a possible mismatch between the LiveMath split and the Qwen results in Table 1.
The released manifest contains 35/18/124 train/val/test items. However, several reported scores exactly match a denominator of 125:
- Qwen3.5-4B: No skill
22.4 = 28/125, Trace2Skill27.2 = 34/125, SkillOpt52.0 = 65/125 - Qwen3.6-35B-A3B: No skill
31.2 = 39/125, Trace2Skill29.6 = 37/125, SkillOpt41.6 = 52/125
With 124 binary exact-match examples, neither 52.0% nor 41.6% is attainable after rounding.
For 177 total items, a 2:1:7 split can be either:
35/17/125if train and val are floored and the remainder goes to test;35/18/124with the currently released largest-remainder split.
Could you confirm whether Table 1 used the former 35/17/125 split, and release the original LiveMath manifest or per-item results?
Related: #108.
Thanks!
- Lenguaje dominante
- Python
- Estrellas
- 18.2k
- Forks
- 1.7k
- Merge medio
- 4 d 1 h
- PR fusionados (30 d)
- 10
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Sin plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de microsoft/SkillOpt
-
Dificultad 3/5 1-2 días Aptitud para principiantes 45/100
Los mantenedores suelen responder en 2 días
-
Dificultad 3/5 1-2 días Aptitud para principiantes 66/100
Los mantenedores suelen responder en 2 días
-
Dificultad 4/5 3-5 días Aptitud para principiantes 25/100
Los mantenedores suelen responder en 2 días
-
Clarification on Rollout Timeouts, Inference Concurrency, and Their Impact on SkillOpt EvaluationAbierto
Dificultad 4/5 3-5 días Aptitud para principiantes 12/100
Los mantenedores suelen responder en 2 días
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 32/100
Los mantenedores suelen responder en 2 días
Todos los issues de microsoft/SkillOpt
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
common-workflow-language/cwl-utils#477 ·
Los mantenedores suelen responder en 1 día
-
Add dependabotAbiertofeat
Dificultad 2/5 Menos de una hora Aptitud para principiantes 72/100
open-nudge/opentemplate#204 ·
Los mantenedores suelen responder en 1 día
-
github-stale-ci-pr-closer: KV state is double-wrapped, never persists, and hits the depth-32 limitPosiblemente ocupada @VascoSch92 la tomó hoy. Abiertopriority:medium ready-for-dev
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
OpenHands/extensions#781 ·
Los mantenedores suelen responder en 1 día
-
bug good first issue
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Los mantenedores suelen responder en 1 día
-
curriculum documentation quality
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
githubnext/gh-aw-workshop#4638 ·
Los mantenedores suelen responder en 1 día