Provide a visualization for the norms of different parts of a transformer model
Đang mở
@AAlberich8 đang làm issue này rồi.
Từ ngày 29/8/2024.
Đánh giá
Issue này chưa được đánh giá.
Mô tả
enhancement
project:TTP
A common debugging method is to monitor the norm of some part of a ML model's weight and activation space.
Goal:
- Create a visualization component for norms of a set of vectors and/or weights. Allow the norms to be tracked over time, like we do with loss/accuracy.
- The code and implementation should be reusable and clean.
Code pointers:
- NPM project for animated transformers: https://github.com/PAIR-code/tiny-transformers/tree/main/animated-transformer
- the current line-chart component (in case we can make this nicer, e.g. allow clicking on points to see exact values, user-changable colors, etc). https://github.com/PAIR-code/tiny-transformers/tree/main/animated-transformer/src/app/d3-line-chart
- The Angular subdirectory of that for the animated transformer tool vis: https://github.com/PAIR-code/tiny-transformers/tree/main/animated-transformer/src/app/animated-transformer
- HTML file for current plots during training: https://github.com/PAIR-code/tiny-transformers/blob/main/animated-transformer/src/app/animated-transformer/model-task-trainer/model-task-trainer.component.html#L57
- Ngôn ngữ chính
- Jupyter Notebook
- Star
- 24
- Fork
- 6
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Không có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của PAIR-code/tiny-transformers
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 45/100
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
-
Add support for cross-entropy loss with integer labelsCó thể làm lại được @aliciafmachado đã nhận 603 ngày trước và không có pull request nào đang mở. Đang mởenhancement
PAIR-code/tiny-transformers#60 · 1 người được giao ·
-
Refactor transformer_gtensor.ts and gpt2.ts to share functions in a common fileCó thể làm lại được @aliciafmachado đã nhận 635 ngày trước và không có pull request nào đang mở. Đang mởenhancement
PAIR-code/tiny-transformers#54 · 1 người được giao ·
-
Add GPT2 tokenizerCó thể làm lại được @aliciafmachado đã nhận 636 ngày trước và không có pull request nào đang mở. Đang mở
PAIR-code/tiny-transformers#52 · 1 người được giao ·