白盒蒸馏是loss融合问题
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 35/100
- issue の種類
- バグ
- 明瞭さ
- 説明が足りない
- 活発さ
- 停滞
- 技術スタック
- python
調査の方向性
easydistill/kd/train.py の 131 行目から始め、lm_loss、distil_loss、kd_ratio がどのように計算され、組み合わされているかを調べます。Issue で報告された値を使って、トレーニング中のそれらのスケールを比較します。Done では、蒸留項が意味のある寄与をしているかを明らかにし、合意された loss-balancing の変更を文書化または実装し、トレーニングの挙動によって検証する必要があります。
索引モデルが issue の本文から書いたものです。
説明
total_loss = (1 - self.kd_ratio) * lm_loss + self.kd_ratio * distil_loss
这里lm_loss和distil_loss在数量级上面差了近百倍，千倍，这样直接融合是否有意义？实际数据看lm_loss刚开始都是几十，最后收敛也到了0.1量级，但distil_loss是最开始也是0.001量级，收敛到0.0001量级，这样加权distill_loss基本没效果
- 主要言語
- Python
- スター
- 482
- フォーク
- 47
- PR マージ指標
- 30日以内にマージされた PR はありません
環境構築
このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
modelscope/easydistill のほかの issue
-
请问可以自定义学生模型吗？オープン
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
modelscope/easydistill#39 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 20/100
modelscope/easydistill#38 ·
-
白盒蒸馏效果问题オープン
難易度 4/5 3〜5日 初心者へのやさしさ 35/100
modelscope/easydistill#37 ·
-
難易度 3/5 1〜2日 初心者へのやさしさ 45/100
modelscope/easydistill#33 ·
-
这个蒸馏框架还在维护吗？オープン
難易度 3/5 1〜2日 初心者へのやさしさ 25/100
modelscope/easydistill#32 · コメント 2 件 ·
modelscope/easydistill の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 74/100
zach-blumenfeld/aip#13 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 80/100
nathanmarlor/foxess_modbus#1287 ·
メンテナーはふだん 4 日以内に返信
-
bug good first issue help wanted
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
OpenLakeForge/openlakeforge#498 ·
メンテナーはふだん 1 日以内に返信
-
good first issue hacktoberfest help wanted python
難易度 2/5 1〜3時間 初心者へのやさしさ 73/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 69/100
pollen-robotics/reachy_mini#1493 ·
メンテナーはふだん 1 日以内に返信