Provide a visualization for the norms of different parts of a transformer model
未關閉
@AAlberich8 已經在處理了。
開始於 2024年8月29日。
評估
這個 Issue 還沒有評估資料。
描述
enhancement
project:TTP
A common debugging method is to monitor the norm of some part of a ML model's weight and activation space.
Goal:
- Create a visualization component for norms of a set of vectors and/or weights. Allow the norms to be tracked over time, like we do with loss/accuracy.
- The code and implementation should be reusable and clean.
Code pointers:
- NPM project for animated transformers: https://github.com/PAIR-code/tiny-transformers/tree/main/animated-transformer
- the current line-chart component (in case we can make this nicer, e.g. allow clicking on points to see exact values, user-changable colors, etc). https://github.com/PAIR-code/tiny-transformers/tree/main/animated-transformer/src/app/d3-line-chart
- The Angular subdirectory of that for the animated transformer tool vis: https://github.com/PAIR-code/tiny-transformers/tree/main/animated-transformer/src/app/animated-transformer
- HTML file for current plots during training: https://github.com/PAIR-code/tiny-transformers/blob/main/animated-transformer/src/app/animated-transformer/model-task-trainer/model-task-trainer.component.html#L57
- 主要語言
- Jupyter Notebook
- 星號
- 24
- 分支
- 6
- PR 合併指標
- 30 天內沒有已合併 PR
環境準備
- 沒有 Dockerfile 或 Docker Compose 檔案
- 沒有 Pull Request 範本
- 閱讀貢獻指南
從這裡開始
- 先讀完整個 Issue，再讀專案的貢獻指南。
- 在 Issue 下留言說明你要接手 —— 這能避免兩個人做同樣的事。
- Fork 儲存庫，在一個分支上完成修改。
- 送出 Pull Request，並在描述裡引用這個 Issue 編號。
PAIR-code/tiny-transformers 的其他 Issue
-
難度 3/5 1-2 天 新手友好度 45/100
-
難度 5/5 一週以上 新手友好度 25/100
-
Add support for cross-entropy loss with integer labels可能重新可做 @aliciafmachado 於 603 天前認領，目前沒有進行中的 PR。 未關閉enhancement
PAIR-code/tiny-transformers#60 · 已指派 1 人 ·
-
Refactor transformer_gtensor.ts and gpt2.ts to share functions in a common file可能重新可做 @aliciafmachado 於 635 天前認領，目前沒有進行中的 PR。 未關閉enhancement
PAIR-code/tiny-transformers#54 · 已指派 1 人 ·
-
Add GPT2 tokenizer可能重新可做 @aliciafmachado 於 636 天前認領，目前沒有進行中的 PR。 未關閉
PAIR-code/tiny-transformers#52 · 已指派 1 人 ·