facebookresearch/fairseq

Add support for Pfeiffer adapters to fairseq models

Aperta

#5143 aperta il 24 mag 2023

Vedi su GitHubGuida contributor
 (1 commento) (0 reazioni) (0 assegnatari)Python (6224 fork)batch import
enhancementhelp wantedneeds triage

Metriche repository

Star
 (29.107 stelle)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

🚀 Feature Request

Are there any examples or implementation of Pfeiffer Adapters in fairseq models? I'm exploring efficient ways of finetuning model and wanted to include adapters in fairseq models. How can I add them to any model? If possible I'd like to add a standalone adapter module which anyone can add to any fairseq model. Is this possible? Can someone please guide me on this? Thank you!

Guida contributor

Direzione di ricerca
Studia le implementazioni esistenti di adapter in fairseq (es. LoRA), comprendi l'architettura del modello e progetta un modulo adapter autonomo che possa essere aggiunto a qualsiasi modello fairseq. Consulta gli adapter di AdapterHub o HuggingFace come riferimento.
Tech stack
python
Dominio
machine learning
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
3-5 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
GitPython
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
40