Provide a visualization for the norms of different parts of a transformer model
オープン
@AAlberich8 がすでに取り組んでいます。
2024年8月29日 から。
評価
この issue はまだ評価されていません。
説明
enhancement
project:TTP
A common debugging method is to monitor the norm of some part of a ML model's weight and activation space.
Goal:
- Create a visualization component for norms of a set of vectors and/or weights. Allow the norms to be tracked over time, like we do with loss/accuracy.
- The code and implementation should be reusable and clean.
Code pointers:
- NPM project for animated transformers: https://github.com/PAIR-code/tiny-transformers/tree/main/animated-transformer
- the current line-chart component (in case we can make this nicer, e.g. allow clicking on points to see exact values, user-changable colors, etc). https://github.com/PAIR-code/tiny-transformers/tree/main/animated-transformer/src/app/d3-line-chart
- The Angular subdirectory of that for the animated transformer tool vis: https://github.com/PAIR-code/tiny-transformers/tree/main/animated-transformer/src/app/animated-transformer
- HTML file for current plots during training: https://github.com/PAIR-code/tiny-transformers/blob/main/animated-transformer/src/app/animated-transformer/model-task-trainer/model-task-trainer.component.html#L57
- 主要言語
- Jupyter Notebook
- スター
- 24
- フォーク
- 6
- PR マージ指標
- 30日以内にマージされた PR はありません
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートなし
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
PAIR-code/tiny-transformers のほかの issue
-
難易度 3/5 1〜2日 初心者へのやさしさ 45/100
-
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
-
Add support for cross-entropy loss with integer labels再び着手できるかも @aliciafmachado が 603 日前に担当しましたが、オープン中のプルリクエストはありません。 オープンenhancement
PAIR-code/tiny-transformers#60 · 担当者 1 名 ·
-
Refactor transformer_gtensor.ts and gpt2.ts to share functions in a common file再び着手できるかも @aliciafmachado が 636 日前に担当しましたが、オープン中のプルリクエストはありません。 オープンenhancement
PAIR-code/tiny-transformers#54 · 担当者 1 名 ·
-
Add GPT2 tokenizer再び着手できるかも @aliciafmachado が 636 日前に担当しましたが、オープン中のプルリクエストはありません。 オープン
PAIR-code/tiny-transformers#52 · 担当者 1 名 ·