unslothai/unsloth

Add spectrum finetuning support

Open

#1.360 geöffnet am 30. Nov. 2024

Auf GitHub ansehen
 (3 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Python (5.658 Forks)batch import
feature requesthelp wanted

Repository-Metriken

Stars
 (64.271 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 3T 15h) (525 gemergte PRs in 30 T)

Beschreibung

Not sure if this allign with unsloth but spectrum is actually a very great way to finetune models it selects layers with higher Signal to Noise Ratio while adhering great performance A great model which use spectrum is Llama-3.1-Storm-8B

paper github

Performance

Screenshot (76)

Contributor Guide

Research-Richtung
Studieren Sie das Spectrum Papier (arXiv:2406.06623) und seine Implementierung unter github.com/cognitivecomputations/spectrum. Verstehen Sie, wie es Schichten basierend auf dem Signal Rausch Verhältnis auswählt. Identifizieren Sie dann, wo dies in die Modelltraining Pipeline von unsloth integriert werden kann, wahrscheinlich während des Layer Freezing Schritts. Implementieren Sie eine Konfigurationsoption zur Aktivierung des Spectrum Feintunings.
Tech Stack
python
Domain
machine learningai
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Halber Tag
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Recherche nötig
Voraussetzungen
PythonGit
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
35