huggingface/lighteval

[EVAL] SWEBENCH multilingual

Aperta

#730 aperta il 15 mag 2025

Vedi su GitHub
 (0 commenti) (0 reazioni) (0 assegnatari)Python (514 fork)auto 404
help wantednew-task

Metriche repository

Star
 (2496 stelle)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

Evaluation short description

  • evaluate coding capabilities with many languages

Evaluation metadata

Provide all available

Guida contributor

Direzione di ricerca
Esplora il dataset multi swe bench e implementa un compito di valutazione in Lighteval.
Tech stack
python
Dominio
machine learningtesting qa
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Nuova
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonLightevalGit
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
70