Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

LiveMath scores imply 125 test items, but the released split has 124

Chiusa
  • Qualcosa non va?
#157 1 commento 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 6 giorni

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
3/5
Tempo stimato
1-2 giorni
Idoneità per principianti
45/100
Tipo di issue
Bug
Chiarezza
Abbastanza chiara
Stato di attività
Tranquilla
Stack tecnologico
python
Ambito
data, documentation

Direzione di ricerca

Inizia confrontando i conteggi del manifest LiveMath rilasciato con i denominatori implicati dalla Tabella 1, quindi esamina la discussione nell’issue correlata #108. Il lavoro è completato quando si conferma quale split ha prodotto i punteggi riportati e si rilascia il manifest originale o i risultati per elemento, se disponibili.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

Hi SkillOpt team,

I found a possible mismatch between the LiveMath split and the Qwen results in Table 1.

The released manifest contains 35/18/124 train/val/test items. However, several reported scores exactly match a denominator of 125:

  • Qwen3.5-4B: No skill 22.4 = 28/125, Trace2Skill 27.2 = 34/125, SkillOpt 52.0 = 65/125
  • Qwen3.6-35B-A3B: No skill 31.2 = 39/125, Trace2Skill 29.6 = 37/125, SkillOpt 41.6 = 52/125

With 124 binary exact-match examples, neither 52.0% nor 41.6% is attainable after rounding.

For 177 total items, a 2:1:7 split can be either:

  • 35/17/125 if train and val are floored and the remainder goes to test;
  • 35/18/124 with the currently released largest-remainder split.

Could you confirm whether Table 1 used the former 35/17/125 split, and release the original LiveMath manifest or per-item results?

Related: #108.

Thanks!

Lingua principale
Python
Stelle
18.2k
Fork
1.7k
Merge medio
6g 18h
PR unite (30g)
12

Preparare l'ambiente

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di microsoft/SkillOpt

Tutte le issue di microsoft/SkillOpt

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.