Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

Verify evals on Papers with Code

Aperta
#32 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
2/5
Tempo stimato
1-3 ore
Idoneità per principianti
48/100
Tipo di issue
Documentazione
Chiarezza
Abbastanza chiara
Stato di attività
Attiva
Ambito
documentation

Direzione di ricerca

Inizia dal paper collegato di Papers with Code e dalle relative pagine dei risultati di OSWorld-Verified e Claw-Eval. Verifica ogni score importato, nome del modello, protocollo di benchmark e metadato di apertura confrontandoli con il paper o con gli artefatti ufficiali della release. Il lavoro è completato quando le righe sono confermate oppure vengono segnalate le correzioni specifiche necessarie; non vengono menzionati file del repository o test.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

Hi,

Niels here from the open-source team at Hugging Face. Congratulations on your work!

I've made the paper and 10 paper-native evaluations available on Papers with Code.

The paper has results on Agents, Coding Agents, Computer Use Agents, and 3 additional task pages.

The MiniMax M3 result currently ranks second on OSWorld-Verified (361 no-GDrive, 200 steps).

The MiniMax M3 result currently ranks third on Claw-Eval.

Would it be possible to verify these results and let me know if any score, model name, benchmark protocol, or openness metadata should be corrected? The imported rows are tied to the paper or its official release artifacts; comparison-table baselines were not added.

You can also edit the task, methods, project page, and GitHub URL directly from the paper page using your Hugging Face account.

If you'd like to showcase the results in your repository README, you can copy these live leaderboard badges (or use the “Copy PwC badge” button in the Results section):

Papers with Code: #2 on OSWorld-Verified (361 no-GDrive, 200 steps)
Papers with Code: #3 on Claw-Eval

Kind regards,

Niels

Lingua principale
Nessun dato sulla lingua
Stelle
487
Fork
59
Nessuna PR unita negli ultimi 30g

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di MiniMax-AI/MiniMax-M3

Tutte le issue di MiniMax-AI/MiniMax-M3

Issue simili

Altre issue su Documentation

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.