1-expert worse than dense model
まだ誰も着手していません。
評価
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 初心者へのやさしさ
- 20/100
- issue の種類
- バグ
- 明瞭さ
- 説明が足りない
- 活発さ
- 停滞
- 技術スタック
- python
調査の方向性
まず、Issue に添付された training-loss プロットを参照として使用し、報告された 1-expert dMoE と、それ以外は同等な dense model との比較を再現してください。異なる loss が想定されたものか、問題を示しているのかを調査し、動作について文書化された説明が得られるか、明確な次のステップを伴う不具合が確認された時点で Issue は解決済みとみなしてください。
索引モデルが issue の本文から書いたものです。
説明
I'm finding that training a 1-expert dMoE (brown) has worse training loss than an otherwise equivalent dense model (green). Is there some reason why this difference is expected or can I expect them to be the same? Thanks!
- 主要言語
- Python
- スター
- 1.6k
- フォーク
- 227
- PR マージ指標
- 30日以内にマージされた PR はありません
環境構築
- Dockerfile または Docker Compose ファイルあり
- プルリクエストのテンプレートあり
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
hkust-nlp/Toolathlon#101 ·
-
enhancement good first issue
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
SkyTruth/cerulean-cloud#219 ·
-
area:security priority:low size:small
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
RonaldHensbergen/composable-data-stack#1217 ·
メンテナーはふだん 1 日以内に返信
-
good first issue help wanted
難易度 2/5 1〜3時間 初心者へのやさしさ 88/100
blixvip/BlendClone#27 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 74/100