confident-ai/deepeval

Support popular benchmarks

Aperta

#508 aperta il 22 feb 2024

Vedi su GitHubGuida contributor
 (11 commenti) (0 reazioni) (0 assegnatari)Python (1677 fork)auto 404
enhancementhelp wanted

Metriche repository

Star
 (16.939 stelle)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

Currently, users of deepeval can only create their own evaluation dataset/test cases. To support more users fine-tuning their model, deepeval should be able to import standard benchmarks such as MMLU, hellaswag, TruthfulQA, Big Bench, etc.

Comment or DM on discord to discuss more: https://discord.com/invite/a3K9c8GRGt

Guida contributor

Direzione di ricerca
Investiga i meccanismi esistenti di creazione di dataset e casi di test in deepeval, quindi progetta un modo per importare benchmark standard come MMLU, Hellaswag, TruthfulQA e Big Bench. Fornisci esempi di come caricare e utilizzare questi benchmark nel framework.
Tech stack
python
Dominio
machine learningaitesting
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
GitPython
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60