Provide a visualization for the norms of different parts of a transformer model
Abierto
@AAlberich8 ya está trabajando en esto.
Desde el 29/8/2024.
Evaluación
Este issue todavía no se ha evaluado.
Descripción
enhancement
project:TTP
A common debugging method is to monitor the norm of some part of a ML model's weight and activation space.
Goal:
- Create a visualization component for norms of a set of vectors and/or weights. Allow the norms to be tracked over time, like we do with loss/accuracy.
- The code and implementation should be reusable and clean.
Code pointers:
- NPM project for animated transformers: https://github.com/PAIR-code/tiny-transformers/tree/main/animated-transformer
- the current line-chart component (in case we can make this nicer, e.g. allow clicking on points to see exact values, user-changable colors, etc). https://github.com/PAIR-code/tiny-transformers/tree/main/animated-transformer/src/app/d3-line-chart
- The Angular subdirectory of that for the animated transformer tool vis: https://github.com/PAIR-code/tiny-transformers/tree/main/animated-transformer/src/app/animated-transformer
- HTML file for current plots during training: https://github.com/PAIR-code/tiny-transformers/blob/main/animated-transformer/src/app/animated-transformer/model-task-trainer/model-task-trainer.component.html#L57
- Lenguaje dominante
- Jupyter Notebook
- Estrellas
- 24
- Forks
- 6
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Sin plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de PAIR-code/tiny-transformers
-
Dificultad 3/5 1-2 días Aptitud para principiantes 45/100
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
-
Add support for cross-entropy loss with integer labelsQuizá libre de nuevo @aliciafmachado la tomó hace 603 días y no hay ningún pull request abierto. Abiertoenhancement
PAIR-code/tiny-transformers#60 · 1 asignado ·
-
Refactor transformer_gtensor.ts and gpt2.ts to share functions in a common fileQuizá libre de nuevo @aliciafmachado la tomó hace 636 días y no hay ningún pull request abierto. Abiertoenhancement
PAIR-code/tiny-transformers#54 · 1 asignado ·
-
Add GPT2 tokenizerQuizá libre de nuevo @aliciafmachado la tomó hace 636 días y no hay ningún pull request abierto. Abierto
PAIR-code/tiny-transformers#52 · 1 asignado ·