Benchmark evaluation for language models.
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 25/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Da chiarire
- Stato di attività
- Ferma
- Stack tecnologico
- docker, python
- Ambito
- machine-learning, testing-qa
Direzione di ricerca
Inizia esaminando l'ambito attuale della libreria evaluate e il progetto collegato NVlabs/verilog-eval. L'issue non specifica file, test o punti di ingresso, quindi chiarisci innanzitutto se l'esecuzione dei benchmark rientra in questa libreria e definisci un ambito concreto di benchmark supportati. Il lavoro sarà considerato completato quando sarà disponibile un piano di implementazione concordato oppure un'issue mirata che identifichi i componenti richiesti e i criteri di accettazione.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Not sure if this feature belongs to this library or would it require a complete separate library. I am proposing the creation of a library where llm benchmarks can be ran. For example, evaluating a model on HumanEval. Such library would make evaluating LLMs much easier. I liked the dockerized approach they used at https://github.com/NVlabs/verilog-eval to safely evaluate code. Evaluating math and reasoning skill of llm could also be benificial.
- Lingua principale
- Python
- Stelle
- 2.5k
- Fork
- 359
- Merge medio
- 48m
- PR unite (30g)
- 1
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di huggingface/evaluate
-
exact_match: ignore_punctuation only removes ASCII punctuationForse già presa @reginaldalfret l’ha presa 5 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
huggingface/evaluate#836 ·
I maintainer di solito rispondono entro 1 giorno
-
EvaluationSuite.run fails with default args_for_task and mutates supplied kwargsForse già presa @ktz03 l’ha presa 17 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
huggingface/evaluate#825 ·
I maintainer di solito rispondono entro 1 giorno
-
exact_match scores two different answers as a perfect match when normalization erases both to the same residueForse già presa @MahendraMula l’ha presa 34 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
huggingface/evaluate#822 ·
I maintainer di solito rispondono entro 1 giorno
-
Perplexity metric fails with GPT-2 tokenizerForse già presa @zanvari l’ha presa 131 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 74/100
huggingface/evaluate#766 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
False/misleading instruction to use different checkpoints of BLEURTForse di nuovo libera Una pull request per questa issue è stata chiusa senza essere unita. Aperta
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 62/100
huggingface/evaluate#679 · 1 reazione ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di huggingface/evaluate
Issue simili
-
bug P1
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
Toloka/tolokaforge#1947 ·
I maintainer di solito rispondono entro 1 giorno
-
SageMaker provider: streaming fails with NoStreamDataError on DJL Serving (LMI) endpointsForse già presa @balajiaru l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
UKGovernmentBEIS/inspect_ai#6127 ·
I maintainer di solito rispondono entro 2 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 67/100
pydot/pydot#601 · 4 commenti ·
I maintainer di solito rispondono entro 2 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
letsencrypt/cp-cps#361 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100