unslothai/unsloth

Evaluation loss becomes constant

Open

#1067 aperta il 27 set 2024

Vedi su GitHub
 (7 commenti) (0 reazioni) (0 assegnatari)Python (5658 fork)batch import
currently fixinggood first issue

Metriche repository

Star
 (64.271 star)
Metriche merge PR
 (Merge medio 3g 15h) (525 PR mergiate in 30 g)

Descrizione

Hi!

I am testing out unsloth to fine tune llama 3.1 8B instruct and following your notebook here.

One exception is that I have added an eval set. What is really strange is that the eval loss locks up to a specific value after around 300 steps. I mean down to the last decimal, not just flattening out. The training loss looks fine and as expected.

I have changed many parameters and tried different things but it always happens. Any idea on what can cause this?

Guida contributor

Direzione di ricerca
Esamina il ciclo di valutazione nella libreria unsloth per capire perché la loss di valutazione diventa costante dopo circa 300 passi. Verifica se il dataset di valutazione viene memorizzato nella cache o se i gradienti sono disabilitati in modo errato. Cerca problemi relativi allo shuffle dei dati o batch di valutazione fissi.
Tech stack
pythonpytorch
Dominio
machine learningai
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
PythonPyTorch
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
40