bigscience-workshop/petals

Exploding gradients/weights/logits in a fine-tuning notebook

Open

#283 aperta il 10 mar 2023

Vedi su GitHub
 (2 commenti) (1 reazione) (1 assegnatario)Python (424 fork)batch import
buggood first issuehelp wanted

Metriche repository

Star
 (8248 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

Hello, after I successfully fine-tuned, I run to the last step and when generating text, the following error occurs. May I ask what is the reason?

image image

Guida contributor

Direzione di ricerca
Indaga sull'errore durante la generazione dopo il fine tuning. Controlla il notebook di fine tuning e il codice di generazione nel repository (ad esempio, petals/cli/run.py o simili). Cerca cause comuni di gradienti/pesi/logit che esplodono, come normalizzazione errata o problemi con il tasso di apprendimento. Poiché il problema ha un assegnatario, rivedi i commenti esistenti per indizi. Chiedi al segnalante di fornire il messaggio di errore esatto e la traccia dello stack invece delle immagini.
Tech stack
pythonpytorch
Dominio
backendmachine learning
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
PythonPyTorch
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
40