bigscience-workshop/petals

Exploding gradients/weights/logits in a fine-tuning notebook

Open

#283 建立於 2023年3月10日

在 GitHub 查看
 (2 留言) (1 反應) (1 負責人)Python (424 fork)batch import
buggood first issuehelp wanted

倉庫指標

Star
 (8,248 star)
PR 合併指標
 (30 天內沒有已合併 PR)

描述

Hello, after I successfully fine-tuned, I run to the last step and when generating text, the following error occurs. May I ask what is the reason?

image image

貢獻者指南

研究方向
調查微調後生成過程中的錯誤。檢查倉庫中的微調筆記本和生成程式碼（例如 petals/cli/run.py 或類似檔案）。尋找梯度/權重/對數機率爆炸的常見原因，例如不正確的歸一化或學習率問題。由於該問題已有負責人，請查看現有評論以獲取線索。請報告者提供確切的錯誤訊息和堆疊追蹤，而不是圖片。
技術棧
pythonpytorch
領域
backendmachine learning
議題類型
錯誤
難度面向新貢獻者的預計實作難度，1 表示很小改動，5 表示專家級工作。
3
預計時間有經驗貢獻者完成調查、實作、測試並準備 pull request 的粗略時間範圍。
1-3 小時
活動狀態議題目前的可參與程度：新鮮、活躍、陳舊、阻塞或等待維護者輸入。
活躍
清晰度議題是否清楚說明預期改動、驗收標準和下一步。
大致清晰
前置要求
PythonPyTorch
新手友善度1-100 的估計分數，表示該議題對首次貢獻者的友善程度。
40