Fix scaling in attention computation
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 3/5
- Thời gian dự kiến
- 1-2 ngày
- Mức phù hợp với người mới
- 45/100
- Loại issue
- Lỗi
- Độ rõ ràng
- Khá rõ ràng
- Mức độ hoạt động
- Đình trệ
- Công nghệ
- jupyter-notebook
- Lĩnh vực
- machine-learning
Hướng nghiên cứu
Không có tệp hoặc bài kiểm thử nào được nêu tên. Hãy xác định phép tính attention trong notebook hoặc mã nguồn, xác định attention thô và số chiều của nó, đồng thời kiểm tra cách loss huấn luyện được đo. Hoàn thành nghĩa là attention thô được scale theo căn bậc hai của số chiều của nó và các bước kiểm tra hiện có trong notebook hoặc bài kiểm thử đều vượt qua.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Currently we are not dividing the raw attention by the square root of dimension, when we should.
It's possible that this explains some of the losses peaks during training of tiny models.
- Ngôn ngữ chính
- Jupyter Notebook
- Star
- 24
- Fork
- 6
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Không có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của PAIR-code/tiny-transformers
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
-
Add support for cross-entropy loss with integer labelsCó thể làm lại được @aliciafmachado đã nhận 604 ngày trước và không có pull request nào đang mở. Đang mởenhancement
PAIR-code/tiny-transformers#60 · 1 người được giao ·
-
Refactor transformer_gtensor.ts and gpt2.ts to share functions in a common fileCó thể làm lại được @aliciafmachado đã nhận 636 ngày trước và không có pull request nào đang mở. Đang mởenhancement
PAIR-code/tiny-transformers#54 · 1 người được giao ·
-
Add GPT2 tokenizerCó thể làm lại được @aliciafmachado đã nhận 636 ngày trước và không có pull request nào đang mở. Đang mở
PAIR-code/tiny-transformers#52 · 1 người được giao ·
-
Fix typos in the codebaseĐang mở
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 35/100
Tất cả issue của PAIR-code/tiny-transformers
Issue tương tự
-
Non-positive worker counts wait for results without starting workersCó thể đã có người làm @IlyaKhalafi đã nhận hôm nay. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 85/100
Maintainer thường phản hồi trong vòng 1 ngày
-
HFLM ignores bare xpu, hpu, and npu device namesCó thể đã có người làm @sdivyanshu90 đã nhận hôm nay. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
EleutherAI/lm-evaluation-harness#4386 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 62/100
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 74/100
-
1D intercept of length 1 is accepted as `fix_params` in population GLM with more than 1 unitCó thể đã có người làm @dhvani7014 đã nhận hôm nay. Đang mởbug good first issue
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
flatironinstitute/nemos#642 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày