unslothai/unsloth

Single token output / binary classification loss goes to 0

Open

#946 aperta il 22 ago 2024

Vedi su GitHub
 (14 commenti) (0 reazioni) (0 assegnatari)Python (5658 fork)batch import
good first issue

Metriche repository

Star
 (64.271 star)
Metriche merge PR
 (Merge medio 3g 15h) (525 PR mergiate in 30 g)

Descrizione

Hello, I get the error in the title when finetuning Phi3.5.
I believe I'm on the latest unsloth (installed from git wit pip).

Context: finetuning Phi3.5 with code that already works with other unsloth models.

Let me know if I can help and how to provide more information as needed.

Guida contributor

Direzione di ricerca
Indaga perché il modello produce un singolo token; controlla il forward pass e il calcolo della perdita. Verifica che il dataset fornisca etichette corrette e che la testa del modello sia configurata correttamente.
Tech stack
python
Dominio
machine learningai
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Richiede indagine
Prerequisiti
PythonPyTorch
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
55