Can we make transformers work here?
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức phù hợp với người mới
- 25/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Cần làm rõ
- Mức độ hoạt động
- Đình trệ
- Công nghệ
- python
- Lĩnh vực
- machine-learning, performance
Hướng nghiên cứu
Bắt đầu bằng cách đọc bài viết được liên kết về các kiến trúc Transformer và ngữ cảnh trong các issue #23 và #26. Nghiên cứu các phương pháp tránh thời gian và bộ nhớ bậc hai ở tốc độ lấy mẫu hiện tại, sau đó xác định một phương án triển khai và chứng minh hiệu năng Sequence-to-Sequence được cải thiện cho trường hợp sử dụng chuỗi thời gian của dự án.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Transformer architectures have revealed themselves to be the unquestionable state-of-the-art when it comes to sequence-to-sequence modelling architectures, and would be incredibly valuable to implement here. The issue in our use case is that the outer product in the self-attention mechanism makes the time and memory quadratic in the length of the timeseries. With our current sampling rate of 4096, that makes even a few seconds a very like timeseries in terms of number of steps (though in the context of #23 and #26 it's possible we don't need as many second as we're using now). However, the blog post linked to above outlines a couple a schemes in the literature for addressing this limitation. It's worth looking into what we might be able to adopt and seeing how that can improve things.
- Ngôn ngữ chính
- Python
- Star
- 11
- Fork
- 6
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Không có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của ML4GW/DeepClean
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 15/100
-
question research topic
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 20/100
-
enhancement
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 45/100
-
bug documentation good first issue
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 45/100
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 35/100
Tất cả issue của ML4GW/DeepClean
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 85/100
kornia/kornia#5263 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Metadata correction for W16-5400Đang mởapproved correction metadata
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 88/100
acl-org/acl-anthology#10133 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
BasedHardware/omi#20084 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
bug needs-acceptance wg/evaluation-quality
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
vllm-project/semantic-router#4424 ·
Maintainer thường phản hồi trong vòng 1 ngày