Exploding gradients/weights/logits in a fine-tuning notebook · bigscience-workshop/petals#283 | Good First Issue

(2 comments) (1 reaction) (1 assignee)Python (424 forks)batch import

buggood first issuehelp wanted

Repository metrics

Stars: (8,248 stars)
PR merge metrics: (30d に merged PR はありません)

説明

Hello, after I successfully fine-tuned, I run to the last step and when generating text, the following error occurs. May I ask what is the reason?

コントリビューターガイド

調査方針: ファインチューニング後の生成中のエラーを調査する。リポジトリ内のファインチューニング用ノートブックと生成コード（例：petals/cli/run.py など）を確認する。勾配/重み/ロジットの爆発的な増加の一般的な原因（正規化の誤りや学習率の問題など）を探る。この課題には担当者が割り当てられているため、既存のコメントを確認して手がかりを得る。報告者には、画像ではなく正確なエラーメッセージとスタックトレースを提供するよう依頼する。
技術スタック: pythonpytorch
領域: backendmachine learning
Issue 種別: バグ
難度: 3
推定時間: 1-3時間
活動状況: アクティブ
明確さ: おおむね明確
前提条件: PythonPyTorch
初心者向け度: 40