facebookresearch/fairseq

Add support for Pfeiffer adapters to fairseq models

Open

#5 143 ouverte le 24 mai 2023

Voir sur GitHub
 (1 commentaire) (0 réactions) (0 assignés)Python (6 224 forks)batch import
enhancementhelp wantedneeds triage

Métriques du dépôt

Stars
 (29 107 stars)
Métriques de merge PR
 (Aucune PR mergée en 30 j)

Description

🚀 Feature Request

Are there any examples or implementation of Pfeiffer Adapters in fairseq models? I'm exploring efficient ways of finetuning model and wanted to include adapters in fairseq models. How can I add them to any model? If possible I'd like to add a standalone adapter module which anyone can add to any fairseq model. Is this possible? Can someone please guide me on this? Thank you!

Guide contributeur

Direction de recherche
Étudiez les implémentations d'adaptateurs existantes dans fairseq (par exemple, LoRA), comprenez l'architecture du modèle et concevez un module d'adaptateur autonome pouvant être ajouté à n'importe quel modèle fairseq. Référez vous aux adaptateurs d'AdapterHub ou de HuggingFace.
Stack technique
python
Domaine
machine learning
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
3-5 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
GitPython
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
40