How to calculate training efficiency ,i.e tokens/sec of step 1 fine tuning of llama2 model ?
まだ誰も着手していません。
評価
- 難易度
- 2/5
- 見積もり時間
- 1〜3時間
- 初心者へのやさしさ
- 25/100
- issue の種類
- ドキュメント
- 明瞭さ
- 説明が足りない
- 活発さ
- 停滞
- 技術スタック
- python
調査の方向性
リンクされた 7b_logfile.txt と、issue で言及されている step 1 の fine-tuning ログから始めます。記録された値のうち、処理済みトークンと経過したトレーニング時間を表すものを特定し、その結果得られる効率を実行構成に照らして検証します。再現可能な計算を提示し、それを裏付けるログエントリを説明できれば完了です。
索引モデルが issue の本文から書いたものです。
説明
hi all,
I'm executing step1 fine tuning of llama2 7b model on DGX system . mentioned below is the log generated . I need help in calculating the tokens/sec i.e training efficiency of the model . Can please someone help me with that.
7b_logfile.txt
- 主要言語
- Python
- スター
- 6.8k
- フォーク
- 1.1k
- 平均マージ
- 2日 16時間
- マージ済み PR（30日）
- 1
環境構築
このプロジェクトの環境構築ファイルはまだ確認していません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
deepspeedai/DeepSpeedExamples のほかの issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 52/100
deepspeedai/DeepSpeedExamples#996 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 25/100
deepspeedai/DeepSpeedExamples#995 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 52/100
deepspeedai/DeepSpeedExamples#989 ·
-
moe example 404オープン
難易度 4/5 3〜5日 初心者へのやさしさ 25/100
deepspeedai/DeepSpeedExamples#984 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 42/100
deepspeedai/DeepSpeedExamples#979 · コメント 6 件 ·
deepspeedai/DeepSpeedExamples の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 74/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
gradio-app/gradio#13895 ·
メンテナーはふだん 1 日以内に返信
-
build-error
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
spack/spack-packages#6713 ·
メンテナーはふだん 1 日以内に返信
-
Use issue templatesオープン
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
ActivityWatch/activitywatch#1464 · リアクション 1 件 ·
メンテナーはふだん 1 日以内に返信
-
[Bug]: The ckg tool drops the return type of every decorated Python method in class search resultsオープン
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
bytedance/trae-agent#483 ·
メンテナーはふだん 1 日以内に返信