facebookresearch/fairseq

Add support for Pfeiffer adapters to fairseq models

Open

#5.143 geöffnet am 24. Mai 2023

Auf GitHub ansehen
 (1 Kommentar) (0 Reaktionen) (0 zugewiesene Personen)Python (6.224 Forks)batch import
enhancementhelp wantedneeds triage

Repository-Metriken

Stars
 (29.107 Stars)
PR-Merge-Metriken
 (Keine gemergten PRs in 30 T)

Beschreibung

🚀 Feature Request

Are there any examples or implementation of Pfeiffer Adapters in fairseq models? I'm exploring efficient ways of finetuning model and wanted to include adapters in fairseq models. How can I add them to any model? If possible I'd like to add a standalone adapter module which anyone can add to any fairseq model. Is this possible? Can someone please guide me on this? Thank you!

Contributor Guide

Research-Richtung
Untersuchen Sie vorhandene Adapter Implementierungen in fairseq (z.B. LoRA), verstehen Sie die Modellarchitektur und entwerfen Sie ein eigenständiges Adaptermodul, das zu jedem fairseq Modell hinzugefügt werden kann. Sehen Sie sich die Adapter von AdapterHub oder HuggingFace als Referenz an.
Tech Stack
python
Domain
machine learning
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
3-5 Tage
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Meist klar
Voraussetzungen
GitPython
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
40