[feat] Staged training
まだ誰も着手していません。
評価
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 初心者へのやさしさ
- 12/100
- issue の種類
- 機能追加
- 明瞭さ
- おおむね明確
- 活発さ
- 停滞
- 技術スタック
- python
調査の方向性
The issue proposes a staged training feature built around Trainer and a stages:list[TrainerConfig] config argument, and it has no files or tests named yet. Start by reading the existing Trainer and TrainerConfig code and related issue #126 to choose between a new StagedTrainer and extending Trainer. Done would need a design agreed with maintainers first, since the approach is still open.
索引モデルが issue の本文から書いたものです。
説明
🧐 Problem Description
We often want to have staged training where we modify the training scheme mid-training. For example we may want to:
- Switch the dataset
- Change the optimization scheme (lr schedule, freeze/unfreeze some weights, etc.)
- Change the batch configuration (batch size, sequence length, etc.)
- Tune up performance parameters according to the new configuration (including distributed config).
- Change the cluster size
💡 Proposed Solution
Implement a "StagedTrainer"or adapt Trainer to swap the training scheme between stages.
On the config side, add a stages:list[TrainerConfig] argument that can be used to override defaults from the parent TrainerConfig (the overriding behaviour might need some work). This can either go in TrainerConfig or in as separate StagedTrainerConfig selected dynamically (#126).
🔄 Alternatives Considered
Staged training is already possible by running multiple consecutive experiments, but it's more time-consuming and less practical.
📈 Potential Benefits
More flexibility, faster development
- 主要言語
- Python
- スター
- 337
- フォーク
- 52
- PR マージ指標
- 30日以内にマージされた PR はありません
環境構築
- Dockerfile または Docker Compose ファイルあり
- プルリクエストのテンプレートあり
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
ServiceNow/Fast-LLM のほかの issue
-
難易度 4/5 3〜5日 初心者へのやさしさ 25/100
ServiceNow/Fast-LLM#556 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 30/100
ServiceNow/Fast-LLM#538 ·
-
enhancement
難易度 5/5 1週間以上 初心者へのやさしさ 12/100
ServiceNow/Fast-LLM#533 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 15/100
ServiceNow/Fast-LLM#510 · コメント 1 件 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 12/100
ServiceNow/Fast-LLM#507 ·
ServiceNow/Fast-LLM の issue をすべて見る
似ている issue
-
enhancement help wanted
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
Git-Hospital/githealthcheck#61 ·
メンテナーはふだん 1 日以内に返信
-
changelog investigate
難易度 2/5 1〜3時間 初心者へのやさしさ 67/100
ramnes/notion-sdk-py#433 ·
-
Partial method descriptors raise on class access対応中かも @Gambit-Checkmate が今日担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
メンテナーはふだん 19 日以内に返信
-
docs pkg:core
難易度 1/5 1時間未満 初心者へのやさしさ 84/100
pydantic/pydantic-ai#11929 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
intake/intake-esm#789 ·