huggingface/lighteval

[FT] showing count in Markdown summary table

Aperta

#804 aperta il 9 giu 2025

Vedi su GitHub
 (5 commenti) (1 reazione) (0 assegnatari)Python (514 fork)auto 404
featuregood first issue

Metriche repository

Star
 (2496 stelle)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

Issue encountered

I am seeing this output from lighteval endpoint litellm with lighteval==0.10.0:

|          Task          |Version|    Metric     |Value|   |Stderr|
|------------------------|------:|---------------|----:|---|-----:|
|all                     |       |ether0_accuracy|    0|±  |     0|
|community:ether0:loose:0|      0|ether0_accuracy|    0|±  |     0|

At a glance, it's unclear if I have misconfigured LightevalTaskConfig.hf_filter, or if accuracy truly was 0%.

(Note: in actuality, there were 10 questions, all incorrect.)

Solution/Feature

Showing a count of questions run, to clarify the size of the evaluation.

Possible alternatives

None

Guida contributor

Direzione di ricerca
Aggiungi una colonna 'Conteggio' all'output della tabella riassuntiva Markdown per mostrare il numero di domande valutate per ogni attività.
Tech stack
python
Dominio
clitooling
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
1
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Meno di 1 ora
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
GitPython
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
85