Log samples to huggingface
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 3/5
- Tempo stimato
- 1-2 giorni
- Idoneità per principianti
- 35/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Ferma
- Stack tecnologico
- huggingface
- Ambito
- machine-learning
Direzione di ricerca
Inizia dalla sezione collegata del README sul salvataggio e il caching dei risultati, quindi leggi gli argomenti di logging in docs/interface.md, in particolare --log_samples e --hf_hub_log_args hub_results_org=. Traccia il punto in cui questi argomenti entrano in evalchemy e definisci done come il logging riuscito dei campioni di valutazione su Hugging Face Hub.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
https://github.com/EleutherAI/lm-evaluation-harness/tree/main?tab=readme-ov-file#saving--caching-results
--log_samples and --hf_hub_log_args hub_results_org=
More about logging arguments here:
https://github.com/EleutherAI/lm-evaluation-harness/blob/main/docs/interface.md
- Lingua principale
- HTML
- Stelle
- 613
- Fork
- 88
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di mlfoundations/evalchemy
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 48/100
mlfoundations/evalchemy#161 ·
-
[bug] GPQA-Diamond ground truth answers are all DForse già presa @neginraoof l’ha presa 235 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 45/100
mlfoundations/evalchemy#155 · 2 commenti ·
-
vLLM backend crashes with "please provide at least one prompt" when max_gen_toks exceeds model context windowForse già presa @Ali-Elganzory l’ha presa 287 giorni fa. Aperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100
mlfoundations/evalchemy#152 ·
-
[bug] LiveCodeBenchv5Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 50/100
mlfoundations/evalchemy#149 ·
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 30/100
mlfoundations/evalchemy#147 ·
Tutte le issue di mlfoundations/evalchemy
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
I maintainer di solito rispondono entro 1 giorno
-
bot-triaged module: LrScheduler module: optimizer triaged
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
huggingface/peft#3999 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
UKGovernmentBEIS/inspect_evals#2711 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Template `queryIndices` equal to the sequence length pass validation, then fail with IndexError in featurisationForse già presa @Nas01010101 l’ha presa 1 giorno fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100
google-deepmind/alphafold3#763 ·
I maintainer di solito rispondono entro 5 giorni