confident-ai/deepeval

Evaluation Dataset Generation

Aperta

#530 aperta il 26 feb 2024

Vedi su GitHubGuida contributor
 (3 commenti) (0 reazioni) (1 assegnatario)Python (1677 fork)auto 404
enhancementhelp wanted

Metriche repository

Star
 (16.939 stelle)
Metriche merge PR
 (Merge medio 4g 16h) (26 PR mergiate in 30 g)

Descrizione

Evaluation dataset generation is coming to deepeval by end of this week. For this feature, we're looking at the following:

  1. Allow users to generate test cases based on their knowledge base
  2. Allow users to choose how to chunk their knowledge base
  3. Allow users to specify how many test cases to generate
  4. Allow users to complicate test cases to make them more realistic (https://arxiv.org/pdf/2304.12244.pdf, https://mlabonne.github.io/blog/notes/Large%20Language%20Models/phi1.htm)

Feedback, suggestions, and contributions for any of the points above are welcomed 😊

Guida contributor

Direzione di ricerca
Esamina gli articoli collegati sulla generazione e complicazione dei casi di test, esplora le strategie di chunking esistenti e comprendi la parte del codebase di deepeval per la generazione di dataset.
Tech stack
python
Dominio
aimachine learning
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonLLM basics
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60