Provide a visualization for the norms of different parts of a transformer model
Offen
@AAlberich8 arbeitet bereits daran.
Seit 29.8.2024.
Bewertung
Dieses Issue wurde noch nicht bewertet.
Beschreibung
enhancement
project:TTP
A common debugging method is to monitor the norm of some part of a ML model's weight and activation space.
Goal:
- Create a visualization component for norms of a set of vectors and/or weights. Allow the norms to be tracked over time, like we do with loss/accuracy.
- The code and implementation should be reusable and clean.
Code pointers:
- NPM project for animated transformers: https://github.com/PAIR-code/tiny-transformers/tree/main/animated-transformer
- the current line-chart component (in case we can make this nicer, e.g. allow clicking on points to see exact values, user-changable colors, etc). https://github.com/PAIR-code/tiny-transformers/tree/main/animated-transformer/src/app/d3-line-chart
- The Angular subdirectory of that for the animated transformer tool vis: https://github.com/PAIR-code/tiny-transformers/tree/main/animated-transformer/src/app/animated-transformer
- HTML file for current plots during training: https://github.com/PAIR-code/tiny-transformers/blob/main/animated-transformer/src/app/animated-transformer/model-task-trainer/model-task-trainer.component.html#L57
- Vorherrschende Sprache
- Jupyter Notebook
- Sterne
- 24
- Forks
- 6
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Entwicklungsumgebung
- Kein Dockerfile und keine Docker-Compose-Datei
- Keine Pull-Request-Vorlage
- Beitragsleitfaden lesen
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus PAIR-code/tiny-transformers
-
Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 45/100
-
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 25/100
-
Add support for cross-entropy loss with integer labelsEvtl. wieder frei @aliciafmachado hat das vor 603 Tagen übernommen, und es ist kein Pull Request offen. Offenenhancement
PAIR-code/tiny-transformers#60 · 1 zugewiesene Person ·
-
Refactor transformer_gtensor.ts and gpt2.ts to share functions in a common fileEvtl. wieder frei @aliciafmachado hat das vor 635 Tagen übernommen, und es ist kein Pull Request offen. Offenenhancement
PAIR-code/tiny-transformers#54 · 1 zugewiesene Person ·
-
Add GPT2 tokenizerEvtl. wieder frei @aliciafmachado hat das vor 636 Tagen übernommen, und es ist kein Pull Request offen. Offen
PAIR-code/tiny-transformers#52 · 1 zugewiesene Person ·