Verify evals on Papers with Code
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 2/5
- Tempo stimato
- 1-3 ore
- Idoneità per principianti
- 48/100
- Tipo di issue
- Documentazione
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Tranquilla
- Stack tecnologico
- huggingface
- Ambito
- machine-learning
Direzione di ricerca
Start with the linked Papers with Code paper and its MMAU and MMSU result pages, then compare the imported scores, model name, benchmark protocols, and openness metadata with the paper or official release artifacts. The work is done when each result is confirmed or the needed corrections are identified and communicated.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Hi,
Niels here from the open-source team at Hugging Face. Congratulations on your work!
I've made the paper and 2 verified paper-native evaluations available on Papers with Code.
The paper is part of the Audio understanding task page.
The Step-Audio-R1.5 results currently rank second on MMAU and MMSU.
Would it be possible to verify these results and let me know if any score, model name, benchmark protocol, or openness metadata should be corrected? The imported rows are tied to the paper or its official release artifacts; comparison-table baselines were not added.
You can also edit the task, methods, project page, and GitHub URL directly from the paper page using your Hugging Face account.
If you'd like to showcase the results in your repository README, you can copy these live leaderboard badges (or use the “Copy PwC badge” button in the Results section):
Kind regards,
Niels
- Lingua principale
- Python
- Stelle
- 699
- Fork
- 51
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di stepfun-ai/Step-Audio-R1
-
vllm branch name errorAperta
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 75/100
stepfun-ai/Step-Audio-R1#5 · 2 commenti · 2 reazioni ·
-
R1.5 模型开源Aperta
Difficoltà 5/5 Più di una settimana Idoneità per principianti 20/100
stepfun-ai/Step-Audio-R1#22 ·
-
请问如何不使用vLLM进行推理呢Aperta
Difficoltà 5/5 Più di una settimana Idoneità per principianti 20/100
stepfun-ai/Step-Audio-R1#21 ·
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 15/100
stepfun-ai/Step-Audio-R1#20 ·
-
realtime相关内容Aperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100
stepfun-ai/Step-Audio-R1#19 · 2 commenti ·
Tutte le issue di stepfun-ai/Step-Audio-R1
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100
PedestrianDynamics/pyFDS-Evac#343 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
theskumar/python-dotenv#708 ·
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 88/100
I maintainer di solito rispondono entro 2 giorni
-
Docs Timedelta
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
pandas-dev/pandas#69919 ·
I maintainer di solito rispondono entro 1 giorno
-
API documentation
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
zephyrproject-rtos/west#1009 · 2 commenti ·
I maintainer di solito rispondono entro 3 giorni