[feat] Staged training
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 12/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Bastante claro
- Estado de actividad
- Estancado
- Stack tecnológico
- python
- Área
- machine-learning
Línea de trabajo
The issue proposes a staged training feature built around Trainer and a stages:list[TrainerConfig] config argument, and it has no files or tests named yet. Start by reading the existing Trainer and TrainerConfig code and related issue #126 to choose between a new StagedTrainer and extending Trainer. Done would need a design agreed with maintainers first, since the approach is still open.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
🧐 Problem Description
We often want to have staged training where we modify the training scheme mid-training. For example we may want to:
- Switch the dataset
- Change the optimization scheme (lr schedule, freeze/unfreeze some weights, etc.)
- Change the batch configuration (batch size, sequence length, etc.)
- Tune up performance parameters according to the new configuration (including distributed config).
- Change the cluster size
💡 Proposed Solution
Implement a "StagedTrainer"or adapt Trainer to swap the training scheme between stages.
On the config side, add a stages:list[TrainerConfig] argument that can be used to override defaults from the parent TrainerConfig (the overriding behaviour might need some work). This can either go in TrainerConfig or in as separate StagedTrainerConfig selected dynamically (#126).
🔄 Alternatives Considered
Staged training is already possible by running multiple consecutive experiments, but it's more time-consuming and less practical.
📈 Potential Benefits
More flexibility, faster development
- Lenguaje dominante
- Python
- Estrellas
- 337
- Forks
- 52
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
- Incluye un Dockerfile o un archivo de Docker Compose
- Tiene una plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de ServiceNow/Fast-LLM
-
Dificultad 4/5 3-5 días Aptitud para principiantes 25/100
ServiceNow/Fast-LLM#556 ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 30/100
ServiceNow/Fast-LLM#538 ·
-
enhancement
Dificultad 5/5 Más de una semana Aptitud para principiantes 12/100
ServiceNow/Fast-LLM#533 ·
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 15/100
ServiceNow/Fast-LLM#510 · 1 comentario ·
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 12/100
ServiceNow/Fast-LLM#507 ·
Todos los issues de ServiceNow/Fast-LLM
Issues similares
-
enhancement help wanted
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
Git-Hospital/githealthcheck#61 ·
Los mantenedores suelen responder en 1 día
-
changelog investigate
Dificultad 2/5 1-3 horas Aptitud para principiantes 67/100
ramnes/notion-sdk-py#433 ·
-
Partial method descriptors raise on class accessPosiblemente ocupada @Gambit-Checkmate la tomó hoy. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
Los mantenedores suelen responder en 19 días
-
docs pkg:core
Dificultad 1/5 Menos de una hora Aptitud para principiantes 84/100
pydantic/pydantic-ai#11929 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
intake/intake-esm#789 ·