unslothai/unsloth

Add support for LISA ?

Open

#285 aperta il 28 mar 2024

Vedi su GitHub
 (4 commenti) (0 reazioni) (0 assegnatari)Python (5658 fork)batch import
feature requesthelp wanted

Metriche repository

Star
 (64.271 star)
Metriche merge PR
 (Merge medio 3g 15h) (525 PR mergiate in 30 g)

Descrizione

Hello any plans to support with LISA ?

Arxiv: https://arxiv.org/pdf/2403.17919.pdf

how it compares in the terms of VRAM usage ? standard 16 bit model fine tuning ?

Guida contributor

Direzione di ricerca
Leggi il paper di LISA per comprendere l'algoritmo, quindi esplora il codebase di unsloth per identificare dove integrarlo, probabilmente nel ciclo di training o nell'ottimizzatore. Confronta l'utilizzo di VRAM rispetto al fine tuning standard.
Tech stack
pythonpytorch
Dominio
machine learningai
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
3-5 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
PythonPyTorchDeep Learning
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
40