One example, multiple config files
まだ誰も着手していません。
評価
- 難易度
- 2/5
- 見積もり時間
- 1〜3時間
- 初心者へのやさしさ
- 52/100
- issue の種類
- 機能追加
- 明瞭さ
- おおむね明確
- 活発さ
- 停滞
- 技術スタック
- python
調査の方向性
DeepSpeed-ZenFlow/finetuning のサンプルディレクトリから始め、既存のトレーニングスクリプト、run.sh、設定ファイルを確認します。提案されている z2_config.json、z3_config.json、z2_offload_config.json、zenflow_config.json の各バリエーションを追加し、その後 run.sh が設定ファイルの入力を受け付けるようにして、各 DeepSpeed モードを同じサンプルから起動できるようにします。
索引モデルが issue の本文から書いたものです。
説明
I'm wondering if we can take the ZenFlow finetuning example, and extend this example into a test bed of different DeepSpeed technologies.
The ZenFlow finetuning example:
https://github.com/deepspeedai/DeepSpeedExamples/tree/master/training/DeepSpeed-ZenFlow/finetuning
The reason is that DeepSpeed is mostly config driven, which means with the same training script, it only takes a config file change to run DeepSpeed training in different mode.
How about put different config file in the directory, i.e. "z2_config.json", "z3_config.json", "z2_offload_config.json", "zenflow_config.json", etc. into the directory, then change the run.sh to make it take the config as input? This might be a good start point for anyone to quickstart deepspeed with a real example.
- 主要言語
- Python
- スター
- 6.8k
- フォーク
- 1.1k
- 平均マージ
- 3日 20時間
- マージ済み PR（30日）
- 5
環境構築
このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
deepspeedai/DeepSpeedExamples のほかの issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 52/100
deepspeedai/DeepSpeedExamples#996 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 25/100
deepspeedai/DeepSpeedExamples#995 ·
-
moe example 404オープン
難易度 4/5 3〜5日 初心者へのやさしさ 25/100
deepspeedai/DeepSpeedExamples#984 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 42/100
deepspeedai/DeepSpeedExamples#979 · コメント 6 件 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 38/100
deepspeedai/DeepSpeedExamples#969 · コメント 1 件 ·
deepspeedai/DeepSpeedExamples の issue をすべて見る
似ている issue
-
needs triage
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
メンテナーはふだん 1 日以内に返信
-
json_params_matcher fails on falsy top-level JSON primitives (0, False, "")対応中かも @mayureshsonawane17 が今日担当しました。 オープンWaiting for: Product Owner
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
メンテナーはふだん 5 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
メンテナーはふだん 1 日以内に返信
-
Add .devin pluginオープン
難易度 1/5 1時間未満 初心者へのやさしさ 88/100
ayghri/i-have-adhd#249 ·
メンテナーはふだん 2 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
modelscope/FunASR#3762 ·
メンテナーはふだん 1 日以内に返信