how to get the evaluation result of gemma4?
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 3/5
- Tempo stimato
- 1-2 giorni
- Idoneità per principianti
- 55/100
- Tipo di issue
- Documentazione
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Attiva
- Stack tecnologico
- jupyter-notebook, python
- Ambito
- ai, documentation, machine-learning
Direzione di ricerca
Look for evaluation scripts or notebooks in the repository, likely under an 'eval' or 'benchmarks' directory. Check the README for instructions on running evaluations. Compare the output format with the leaderboard image to understand the discrepancy. Running the evaluation on Gemma4 and verifying the results against the paper will confirm the process.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
I find that the evaluation result of gemme4 is different from the paper, Could you please share how to evaluate gemma4?
paper:
here:
from leader board
- Lingua principale
- Jupyter Notebook
- Stelle
- 11.1k
- Fork
- 766
- Merge medio
- 5h 3m
- PR unite (30g)
- 6
Preparare l'ambiente
Non abbiamo ancora controllato i file di configurazione di questo progetto. Parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di OpenBMB/MiniCPM
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 78/100
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 15/100
-
feature
Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 62/100
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
Tutte le issue di OpenBMB/MiniCPM
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100
NousResearch/hermes-plugin-claude-subscription-directsdk#67 ·
I maintainer di solito rispondono entro 1 giorno
-
area:dictation bug P2
Difficoltà 2/5 1-3 ore Idoneità per principianti 86/100
uttrflow/uttrflow-swift#2539 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100
I maintainer di solito rispondono entro 1 giorno
-
comp/tools P3 type/bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100
NousResearch/hermes-agent#126059 ·
I maintainer di solito rispondono entro 1 giorno
-
factory-active factory-automatic harness/codex task-bug-reproduction-success task-identify-harness-labels-done task-identify-issue-type-done
Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100
vercel/ai#21582 · 3 commenti ·
I maintainer di solito rispondono entro 1 giorno