microsoft/lida

Evaluation of HF Models with LIDA

Ouverte

#41 ouverte le 18 sept. 2023

Voir sur GitHub
 (9 commentaires) (1 réaction) (0 personne assignée)Jupyter Notebook (378 forks)github user discovery
enhancementgood first issue

Métriques du dépôt

Stars
 (3 253 étoiles)
Métriques de merge PR
 (Aucune PR mergée en 30 j)

Description

What

Local models (e.g. LLAMA based models available via HuggingFace in the 7B or 13B size classes) offer multiple benefits (e.g., can be finetuned/adapted, run locally etc). While LIDA has been mostly tested with OpenAI models, more work is needed to test workflows and performance for HF models.

Work Items

  • Test a set of local HF models either directly with llmx or with LIDA, systematically document bugs and suggest fixes via PRs

Guide contributeur

Direction de recherche
Testez les modèles HuggingFace avec LIDA, documentez les bogues et suggérez des correctifs via des pull requests.
Stack technique
python
Domaine
machine learningaibackend
Type d'issue
Test
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
PythonHuggingFace TransformersLIDA
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
60