unslothai/unsloth

Evaluation loss becomes constant

Open

#1.067 geöffnet am 27. Sept. 2024

Auf GitHub ansehen
 (7 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Python (5.658 Forks)batch import
currently fixinggood first issue

Repository-Metriken

Stars
 (64.271 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 3T 15h) (525 gemergte PRs in 30 T)

Beschreibung

Hi!

I am testing out unsloth to fine tune llama 3.1 8B instruct and following your notebook here.

One exception is that I have added an eval set. What is really strange is that the eval loss locks up to a specific value after around 300 steps. I mean down to the last decimal, not just flattening out. The training loss looks fine and as expected.

I have changed many parameters and tried different things but it always happens. Any idea on what can cause this?

Contributor Guide

Research-Richtung
Untersuchen Sie die Evaluierungsschleife in der unsloth Bibliothek, um zu verstehen, warum der Evaluierungsverlust nach etwa 300 Schritten konstant wird. Prüfen Sie, ob der Evaluierungsdatensatz zwischengespeichert wird oder ob Gradienten fälschlicherweise deaktiviert werden. Suchen Sie nach Problemen mit dem Daten Shuffle oder festen Evaluierungsbatches.
Tech Stack
pythonpytorch
Domain
machine learningai
Issue Type
Fehler
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Halber Tag
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Meist klar
Voraussetzungen
PythonPyTorch
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
40