huggingface/lighteval

[EVAL] TauBench:

Aperta

#741 aperta il 19 mag 2025

Vedi su GitHub
 (1 commento) (0 reazioni) (0 assegnatari)Python (514 fork)auto 404
help wantednew-task

Metriche repository

Star
 (2496 stelle)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

Evaluation short description

A Benchmark for Tool-Agent-User Interaction in Real-World Domains.

Evaluation metadata

Provide all available

Guida contributor

Direzione di ricerca
Studia il paper di TauBench e il repository GitHub per comprenderne la struttura e i requisiti; individua i punti di integrazione con il framework di valutazione di lighteval.
Tech stack
python
Dominio
aitesting
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Nuova
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Richiede indagine
Prerequisiti
GitPython
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
50