CarperAI/trlx

Collapse reference+learner hydra heads when using LoRa

Open

#320 aperta il 21 feb 2023

Vedi su GitHub
 (6 commenti) (2 reazioni) (0 assegnatari)Python (450 fork)batch import
contributions welcomefeature requestgood first issue

Metriche repository

Star
 (4184 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

🚀 The feature, motivation, and pitch

With additive (delta-style) parameter-efficient tuning methods such as LoRa, we should be able to make a slightly more mem-efficient hydra architecture by using a single block that does ~frozen_head + tunable_weights for the learner/policy head's fwd-pass and simply frozen_head for the reference, instead of maintaining 2x heads.

CC @LouisCastricato and @cat-state for pointing this out

Alternatives

No response

Additional context

No response

Guida contributor

Direzione di ricerca
Studia l'implementazione attuale dell'hydra head nel codebase. Comprendi come funziona LoRa e rifattorizza le teste per utilizzare un singolo blocco che applica una testa congelata per il riferimento e aggiunge un livello LoRa sintonizzabile per la testa dell'apprendista.
Tech stack
python
Dominio
machine learningai
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonGit
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
65