Provide a visualization for the norms of different parts of a transformer model
Aberta
@AAlberich8 já está trabalhando nisso.
Desde 29/8/2024.
Avaliação
Esta issue ainda não foi avaliada.
Descrição
enhancement
project:TTP
A common debugging method is to monitor the norm of some part of a ML model's weight and activation space.
Goal:
- Create a visualization component for norms of a set of vectors and/or weights. Allow the norms to be tracked over time, like we do with loss/accuracy.
- The code and implementation should be reusable and clean.
Code pointers:
- NPM project for animated transformers: https://github.com/PAIR-code/tiny-transformers/tree/main/animated-transformer
- the current line-chart component (in case we can make this nicer, e.g. allow clicking on points to see exact values, user-changable colors, etc). https://github.com/PAIR-code/tiny-transformers/tree/main/animated-transformer/src/app/d3-line-chart
- The Angular subdirectory of that for the animated transformer tool vis: https://github.com/PAIR-code/tiny-transformers/tree/main/animated-transformer/src/app/animated-transformer
- HTML file for current plots during training: https://github.com/PAIR-code/tiny-transformers/blob/main/animated-transformer/src/app/animated-transformer/model-task-trainer/model-task-trainer.component.html#L57
- Linguagem predominante
- Jupyter Notebook
- Estrelas
- 24
- Forks
- 6
- Métricas de merge de PRs
- Nenhum PR com merge em 30d
Preparar o ambiente
- Sem Dockerfile nem arquivo Docker Compose
- Sem modelo de pull request
- Ler o guia de contribuição
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de PAIR-code/tiny-transformers
-
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 45/100
-
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 25/100
-
Add support for cross-entropy loss with integer labelsTalvez livre de novo @aliciafmachado assumiu há 603 dias e não há nenhum pull request aberto. Abertaenhancement
PAIR-code/tiny-transformers#60 · 1 responsável ·
-
Refactor transformer_gtensor.ts and gpt2.ts to share functions in a common fileTalvez livre de novo @aliciafmachado assumiu há 636 dias e não há nenhum pull request aberto. Abertaenhancement
PAIR-code/tiny-transformers#54 · 1 responsável ·
-
Add GPT2 tokenizerTalvez livre de novo @aliciafmachado assumiu há 636 dias e não há nenhum pull request aberto. Aberta
PAIR-code/tiny-transformers#52 · 1 responsável ·