[BUG] LightevalTaskConfig doesn't support comparison, but Cache management uses sorted on it
I maintainer di solito rispondono entro 2 giorni
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 3/5
- Tempo stimato
- 1-2 giorni
- Idoneità per principianti
- 45/100
Direzione di ricerca
Riproduci la combinazione di task YAML dell’issue e traccia come viene espanso il gruppo prima che SampleCache:_get_task_hash ordini i valori di LightevalTaskConfig. Conferma che il problema è risolto quando il task duplicato non viene più prodotto, quindi esegui nuovamente con successo la configurazione segnalata.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Describe the bug
Specify two tasks as below:
helm|boolq|0
helm|boolq:contrastset|0
The current logic will assume "helm|boolq" is a group and will add "helm|boolq:contrastset" again, then "helm|boolq:contrastset" will appear twice, later at SampleCache:_get_task_hash sorted is used to sort these two, and
an error "<" is not supported on LightevalTaskConfig is raised
To Reproduce
Specify two tasks as below in yaml:
helm|boolq|0
helm|boolq:contrastset|0
Expected behavior
Run should succeed
Version info
0.11.0
- Lingua principale
- Python
- Stelle
- 2.6k
- Fork
- 605
- Merge medio
- 2g 3h
- PR unite (30g)
- 3
Preparare l'ambiente
Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di huggingface/lighteval
-
[BUG] Belebele cf tasks fail for Latvian, Lithuanian, Maltese and Slovenian: missing translation literalsForse già presa @inchang-ing l’ha presa 3 giorni fa. Apertabug
Difficoltà 1/5 1-3 ore Idoneità per principianti 74/100
huggingface/lighteval#1471 ·
I maintainer di solito rispondono entro 2 giorni
-
[BUG] Stderr of `_average` and `all` rows is the mean of the subtask stderrs (about 7x too large for MMLU)Forse già presa @Andreas-Hum l’ha presa 5 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
huggingface/lighteval#1466 ·
I maintainer di solito rispondono entro 2 giorni
-
[BUG] Reasoning tag removal fails when <think> is part of the input promptForse già presa @selimfedakar l’ha presa 9 giorni fa. Apertabug
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
huggingface/lighteval#1453 · 1 commento ·
I maintainer di solito rispondono entro 2 giorni
-
[BUG] TruthfulQA MC2 drops true answers after a gap in gold indexesForse già presa @salma2vec l’ha presa 17 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
huggingface/lighteval#1442 ·
I maintainer di solito rispondono entro 2 giorni
-
[BUG] Token F1 ignores repeated words in predictions and referencesForse già presa @salma2vec l’ha presa 17 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
huggingface/lighteval#1441 ·
I maintainer di solito rispondono entro 2 giorni
Tutte le issue di huggingface/lighteval
Issue simili
-
docs size:S
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 88/100
I maintainer di solito rispondono entro 1 giorno
-
documentation
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 74/100
strawberry-graphql/strawberry#4794 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
dataforgoodfr/cetolog#21 ·
-
security_citations_test fails against ecc 2026.11.6: SECURITY.md quotes ecc v2026.11.2's linesAperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
btclib-org/btclib#2932 ·
I maintainer di solito rispondono entro 1 giorno