microsoft/lida

Evaluation of HF Models with LIDA

Aperta

#41 aperta il 18 set 2023

Vedi su GitHub
 (9 commenti) (1 reazione) (0 assegnatari)Jupyter Notebook (378 fork)github user discovery
enhancementgood first issue

Metriche repository

Star
 (3253 stelle)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

What

Local models (e.g. LLAMA based models available via HuggingFace in the 7B or 13B size classes) offer multiple benefits (e.g., can be finetuned/adapted, run locally etc). While LIDA has been mostly tested with OpenAI models, more work is needed to test workflows and performance for HF models.

Work Items

  • Test a set of local HF models either directly with llmx or with LIDA, systematically document bugs and suggest fixes via PRs

Guida contributor

Direzione di ricerca
Testa i modelli HuggingFace con LIDA, documenta i bug e suggerisci correzioni tramite pull request.
Tech stack
python
Dominio
machine learningaibackend
Tipo issue
Test
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
PythonHuggingFace TransformersLIDA
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60