EvalScope integration: one-command evaluation support for MiniMax-Vendor-Verifier
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 1/5
- Tempo stimato
- Meno di un'ora
- Idoneità per principianti
- 64/100
- Tipo di issue
- Documentazione
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Tranquilla
- Ambito
- documentation
Direzione di ricerca
Inizia individuando l'area del README o della documentazione in cui potrebbe inserirsi una nota sul workflow di valutazione, quindi esamina la documentazione del benchmark EvalScope collegata e il comando di esempio. Il lavoro è completato quando gli utenti possono trovare l'integrazione di EvalScope, comprendere il comando e i relativi segnaposto e seguire i link forniti.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Hi MiniMax-AI/MiniMax-Provider-Verifier maintainers,
EvalScope now supports MiniMax-Vendor-Verifier. This gives users another way to run the benchmark when they want a standardized evaluation workflow around OpenAI-compatible model endpoints, saved predictions, scoring, and report generation.
This may be useful for users who find this repository while setting up MiniMax-Vendor-Verifier and want a quick path to evaluate a hosted or locally served model.
Example:
evalscope eval \
--model YOUR_MODEL \
--api-url OPENAI_API_COMPAT_URL \
--api-key EMPTY_TOKEN \
--datasets minimax_verifier \
--limit 10
Docs: https://evalscope.readthedocs.io/en/latest/benchmarks/minimax_verifier.html
EvalScope repo: https://github.com/modelscope/evalscope
We can also open a small PR adding this as a README/Docs note, linked to this issue.
- Lingua principale
- Python
- Stelle
- 51
- Fork
- 14
- Merge medio
- 1g 3h
- PR unite (30g)
- 4
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di MiniMax-AI/MiniMax-Provider-Verifier
-
搞个实时排行榜呗Apertaenhancement
Difficoltà 5/5 Più di una settimana Idoneità per principianti 15/100
Tutte le issue di MiniMax-AI/MiniMax-Provider-Verifier
Issue simili
-
customer-reported
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
Azure/azure-cli#34150 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
community-request
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 95/100
NVIDIA-NeMo/Curator#2464 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
weblate-discover crashes with an unhandled FileNotFoundError when the directory does not existAperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
WeblateOrg/translation-finder#1099 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
trezor/trezor-firmware#7997 ·
I maintainer di solito rispondono entro 2 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
I maintainer di solito rispondono entro 1 giorno