[feat] Staged training
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Anfängerfreundlichkeit
- 12/100
- Issue-Typ
- Feature
- Klarheit
- Größtenteils klar
- Aktivitätsstatus
- Veraltet
- Tech-Stack
- python
- Bereich
- machine-learning
Rechercherichtung
The issue proposes a staged training feature built around Trainer and a stages:list[TrainerConfig] config argument, and it has no files or tests named yet. Start by reading the existing Trainer and TrainerConfig code and related issue #126 to choose between a new StagedTrainer and extending Trainer. Done would need a design agreed with maintainers first, since the approach is still open.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
🧐 Problem Description
We often want to have staged training where we modify the training scheme mid-training. For example we may want to:
- Switch the dataset
- Change the optimization scheme (lr schedule, freeze/unfreeze some weights, etc.)
- Change the batch configuration (batch size, sequence length, etc.)
- Tune up performance parameters according to the new configuration (including distributed config).
- Change the cluster size
💡 Proposed Solution
Implement a "StagedTrainer"or adapt Trainer to swap the training scheme between stages.
On the config side, add a stages:list[TrainerConfig] argument that can be used to override defaults from the parent TrainerConfig (the overriding behaviour might need some work). This can either go in TrainerConfig or in as separate StagedTrainerConfig selected dynamically (#126).
🔄 Alternatives Considered
Staged training is already possible by running multiple consecutive experiments, but it's more time-consuming and less practical.
📈 Potential Benefits
More flexibility, faster development
- Vorherrschende Sprache
- Python
- Sterne
- 337
- Forks
- 52
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Entwicklungsumgebung
- Enthält ein Dockerfile oder eine Docker-Compose-Datei
- Hat eine Pull-Request-Vorlage
- Beitragsleitfaden lesen
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus ServiceNow/Fast-LLM
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 25/100
ServiceNow/Fast-LLM#556 ·
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 30/100
ServiceNow/Fast-LLM#538 ·
-
enhancement
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 12/100
ServiceNow/Fast-LLM#533 ·
-
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 15/100
ServiceNow/Fast-LLM#510 · 1 Kommentar ·
-
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 12/100
ServiceNow/Fast-LLM#507 ·
Alle Issues in ServiceNow/Fast-LLM
Ähnliche Issues
-
bug
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 74/100
BCDA-APS/polar-bits#93 ·
-
infer_audio_type only recognises one MPEG Layer III frame header, so most MP3 files are rejectedEvtl. vergeben @Steve-20-ai hat das heute übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
Maintainer antworten meist innerhalb von 1 Tag
-
[BUG] - ssh_config `Match tagged` statement always appliesEvtl. vergeben @AtharvRG hat das heute übernommen. OffenBug
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 68/100
paramiko/paramiko#2715 · 1 Kommentar ·
Maintainer antworten meist innerhalb von 9 Tagen
-
auto-rejected intake mcp-intake needs-salvage priority:high type:feature
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 65/100
Ikalus1988/MisakaNet#4221 · 2 Kommentare ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 82/100
Maintainer antworten meist innerhalb von 1 Tag