unslothai/unsloth

Add spectrum finetuning support

Open

#1360 aperta il 30 nov 2024

Vedi su GitHub
 (3 commenti) (0 reazioni) (0 assegnatari)Python (5658 fork)batch import
feature requesthelp wanted

Metriche repository

Star
 (64.271 star)
Metriche merge PR
 (Merge medio 3g 15h) (525 PR mergiate in 30 g)

Descrizione

Not sure if this allign with unsloth but spectrum is actually a very great way to finetune models it selects layers with higher Signal to Noise Ratio while adhering great performance A great model which use spectrum is Llama-3.1-Storm-8B

paper github

Performance

Screenshot (76)

Guida contributor

Direzione di ricerca
Studia il paper Spectrum (arXiv:2406.06623) e la sua implementazione su github.com/cognitivecomputations/spectrum. Comprendi come seleziona i layer basandosi sul rapporto segnale rumore. Quindi identifica dove integrarlo nel pipeline di addestramento del modello di unsloth, probabilmente durante il passo di congelamento dei layer. Implementa un'opzione di configurazione per abilitare il fine tuning Spectrum.
Tech stack
python
Dominio
machine learningai
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Richiede indagine
Prerequisiti
PythonGit
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
35