Online dataset mixing based on validation metrics
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 8/100
Línea de trabajo
The issue is a design-level request for a blended dataset that reweights its subsets from validation metrics, and the payload names no files, tests or entry points. Start by finding the existing dataset mixing and multi-dataset validation code in the Fast-LLM repository, and check whether the sampling weights are already configurable. The issue has no execution plan or acceptance criteria, so done would first need a written design agreed with the maintainers.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
🎯 Goal (What & Why)
Create a Blended Dataset which can use validation metrics to re-arrange its sampling probabilities of different subsets. This will allow to implement on the fly training data readjustment.
🚀 Execution Plan
TBD
📌 Acceptance Criteria (Must-Haves for Completion)
TBD
🛠️ Project Management
- Assign the project to the Fast-LLM project.
- Set the
Estimatefield (in days) in the GitHub project. - Use the
Sizefield to categorize the PR size (Small/Medium/Large). - Assign an owner when opening the issue.
Created from @oleksost comments:
Another motivation for implementing multi-dataset validation is online mixing as described in here and here.
Roughly the idea is that if we can track the loss separately on each of the mixed domains, we can dynamically > adopt the mixing coefficients online.
- Lenguaje dominante
- Python
- Estrellas
- 337
- Forks
- 52
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
- Incluye un Dockerfile o un archivo de Docker Compose
- Tiene una plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de ServiceNow/Fast-LLM
-
Dificultad 4/5 3-5 días Aptitud para principiantes 25/100
ServiceNow/Fast-LLM#556 ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 30/100
ServiceNow/Fast-LLM#538 ·
-
enhancement
Dificultad 5/5 Más de una semana Aptitud para principiantes 12/100
ServiceNow/Fast-LLM#533 ·
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 15/100
ServiceNow/Fast-LLM#510 · 1 comentario ·
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 12/100
ServiceNow/Fast-LLM#507 ·
Todos los issues de ServiceNow/Fast-LLM
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
pytest-dev/pytest-html#1085 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 90/100
pollen-robotics/reachy_mini#1527 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 66/100
Los mantenedores suelen responder en 2 días
-
Variadic arguments that aren't objects are passed as objects (stringWithFormat_ with %d / %f)Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
Los mantenedores suelen responder en 1 día
-
A seed and its negative give the same run, so realizations of a negative seed repeat each otherAbierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 66/100
Los mantenedores suelen responder en 1 día