unslothai/unsloth

Evaluation loss becomes constant

Open

#1 067 ouverte le 27 sept. 2024

Voir sur GitHub
 (7 commentaires) (0 réactions) (0 assignés)Python (5 658 forks)batch import
currently fixinggood first issue

Métriques du dépôt

Stars
 (64 271 stars)
Métriques de merge PR
 (Merge moyen 3j 15h) (525 PRs mergées en 30 j)

Description

Hi!

I am testing out unsloth to fine tune llama 3.1 8B instruct and following your notebook here.

One exception is that I have added an eval set. What is really strange is that the eval loss locks up to a specific value after around 300 steps. I mean down to the last decimal, not just flattening out. The training loss looks fine and as expected.

I have changed many parameters and tried different things but it always happens. Any idea on what can cause this?

Guide contributeur

Direction de recherche
Examinez la boucle d'évaluation dans la bibliothèque unsloth pour comprendre pourquoi la perte d'évaluation devient constante après environ 300 étapes. Vérifiez si l'ensemble de données d'évaluation est mis en cache ou si les gradients sont désactivés incorrectement. Recherchez des problèmes de mélange de données ou de lots d'évaluation fixes.
Stack technique
pythonpytorch
Domaine
machine learningai
Type d'issue
Bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Une demi journée
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
PythonPyTorch
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
40