`GradScaler` and mixed-precision training
まだ誰も着手していません。
評価
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 初心者へのやさしさ
- 25/100
- issue の種類
- 機能追加
- 明瞭さ
- おおむね明確
- 活発さ
- 停滞
- 技術スタック
- csharp, pytorch
調査の方向性
リンクされている PyTorch AMP の例から始め、GradScaler と fp16 の勾配スケーリングのフローに重点を置いてください。TorchSharp API の公開範囲と、混合精度トレーニングをカバーするテストを特定してください。fp16 の勾配スケーリングが公開され、検証されれば完了とします。Issue で言及されている将来のハードウェアに向けて、fp8 のサポートも検討します。
索引モデルが issue の本文から書いたものです。
説明
https://pytorch.org/docs/stable/notes/amp_examples.html
Currently, bfloat16 works well without grad scaling. But to use fp16 and fp8 (fp8 - in the future, when the support for Hopper/40XX GPUs lands) one needs to scale gradients.
- 主要言語
- C#
- スター
- 1.9k
- フォーク
- 230
- PR マージ指標
- 30日以内にマージされた PR はありません
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートなし
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
dotnet/TorchSharp のほかの issue
-
bug
難易度 4/5 3〜5日 初心者へのやさしさ 45/100
dotnet/TorchSharp#1583 ·
-
難易度 4/5 1週間以上 初心者へのやさしさ 30/100
dotnet/TorchSharp#1581 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
dotnet/TorchSharp#1579 ·
-
bug
難易度 4/5 3〜5日 初心者へのやさしさ 56/100
dotnet/TorchSharp#1574 ·
-
bug
難易度 4/5 3〜5日 初心者へのやさしさ 48/100
dotnet/TorchSharp#1567 ·
dotnet/TorchSharp の issue をすべて見る
似ている issue
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 66/100
reactiveui/ReactiveUI.Binding.SourceGenerators#176 ·
メンテナーはふだん 1 日以内に返信
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
lugassawan/swe-workbench#799 ·
メンテナーはふだん 1 日以内に返信
-
.NET Docs Next Major
難易度 2/5 1〜3時間 初心者へのやさしさ 77/100
getsentry/sentry-dotnet#5709 · コメント 1 件 ·
メンテナーはふだん 2 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
plengauer/RicherPresence#132 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
QuantConnect/Lean#9889 ·
メンテナーはふだん 1 日以内に返信