bigscience-workshop/petals

Exploding gradients/weights/logits in a fine-tuning notebook

Open

#283 geöffnet am 10. März 2023

Auf GitHub ansehen
 (2 Kommentare) (1 Reaktion) (1 zugewiesene Person)Python (424 Forks)batch import
buggood first issuehelp wanted

Repository-Metriken

Stars
 (8.248 Stars)
PR-Merge-Metriken
 (Keine gemergten PRs in 30 T)

Beschreibung

Hello, after I successfully fine-tuned, I run to the last step and when generating text, the following error occurs. May I ask what is the reason?

image image

Contributor Guide

Research-Richtung
Untersuche den Fehler während der Generierung nach dem Fine Tuning. Überprüfe das Fine Tuning Notebook und den Generierungscode im Repository (z. B. petals/cli/run.py oder ähnliches). Suche nach häufigen Ursachen für explodierende Gradienten/Gewichte/Logits, wie falsche Normalisierung oder Probleme mit der Lernrate. Da der Issue einen Bearbeiter hat, prüfe vorhandene Kommentare nach Hinweisen. Bitte den Melder, die genaue Fehlermeldung und den Stacktrace anstelle von Bildern bereitzustellen.
Tech Stack
pythonpytorch
Domain
backendmachine learning
Issue Type
Fehler
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 Stunden
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Meist klar
Voraussetzungen
PythonPyTorch
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
40