Reference-model is slow on long sequences, especially with TP>1
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 15/100
- Tipo de issue
- Error
- Claridad
- Necesita aclaración
- Estado de actividad
- Estancado
- Stack tecnológico
- python
- Área
- machine-learning, performance
Línea de trabajo
Start with the reference-model forward timing in fast_llm/models/gpt/model.py around lines 336-342, since the issue asks whether the measurement itself is wrong. Check whether the timing synchronizes the device before and after the forward pass, then compare TP=1 and TP=2 runs at the same sequence length. Done means the TP=2 overhead and the mbs=1 vs mbs=2 anomaly are either explained or traced to a measurement error, with the findings written up on the issue.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Here are some latency numbers, run with https://github.com/ServiceNow/Fast-LLM/tree/874cb2a875a439cff10d18a67b293ed59831ce4e, by measuring the time taken to run the reference-model's forward https://github.com/ServiceNow/Fast-LLM/blob/874cb2a875a439cff10d18a67b293ed59831ce4e/fast_llm/models/gpt/model.py#L336-L342.
With TP=2, mbs=1, the time taken to run the reference model is much larger in comparison to TP=1.
Another puzzling point is that the reference-model-forward-time is larger in TP=2,mbs=1 than in TP=2,mbs=2.
Could be an issue in how this ref-model-forward time is measured here?
| Seq-length | TP | MBS | BS | Sequential micro-batches | Teacher-size | Studen-size | Ref-model forward (ms) | Step-time (ms) |
|---|---|---|---|---|---|---|---|---|
| 2048 | 1 | 1 | 16 | 1 | 4.6B | 4.6B | 24 | 206 |
| 4096 | 1 | 1 | 16 | 1 | 4.6B | 4.6B | 46 | 333 |
| 8192 | 1 | 1 | 16 | 1 | 4.6B | 4.6B | 95 | 656 |
| 2048 | 2 | 1 | 8 | 1 | 4.6B | 4.6B | 80 | 230 |
| 4096 | 2 | 1 | 8 | 1 | 4.6B | 4.6B | 150 | 367 |
| 8192 | 2 | 1 | 8 | 1 | 4.6B | 4.6B | 301 | 655 |
| 2048 | 2 | 2 | 16 | 1 | 4.6B | 4.6B | 33 | 231 |
| 4096 | 2 | 2 | 16 | 1 | 4.6B | 4.6B | 59 | 376 |
| 8192 | 2 | 2 | 16 | 1 | 4.6B | 4.6B | 121 | 739 |
- Lenguaje dominante
- Python
- Estrellas
- 337
- Forks
- 52
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
- Incluye un Dockerfile o un archivo de Docker Compose
- Tiene una plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de ServiceNow/Fast-LLM
-
Dificultad 4/5 3-5 días Aptitud para principiantes 25/100
ServiceNow/Fast-LLM#556 ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 30/100
ServiceNow/Fast-LLM#538 ·
-
enhancement
Dificultad 5/5 Más de una semana Aptitud para principiantes 12/100
ServiceNow/Fast-LLM#533 ·
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 15/100
ServiceNow/Fast-LLM#510 · 1 comentario ·
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 12/100
ServiceNow/Fast-LLM#507 ·
Todos los issues de ServiceNow/Fast-LLM
Issues similares
-
Support .aac audio uploadsPosiblemente ocupada @julien731 la tomó hoy. Abiertofeature
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
nimblehq/audio-transcriber#153 ·
-
help wanted
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
antonyrag/ragleap-core#1062 ·
-
needs-triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
gke-labs/kube-agents#4321 ·
Los mantenedores suelen responder en 1 día
-
enhancement help wanted
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
Git-Hospital/githealthcheck#61 ·
Los mantenedores suelen responder en 1 día
-
changelog investigate
Dificultad 2/5 1-3 horas Aptitud para principiantes 67/100
ramnes/notion-sdk-py#433 ·