Support for 4bit or 8bit tensor
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức phù hợp với người mới
- 25/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Cần làm rõ
- Mức độ hoạt động
- Đình trệ
- Công nghệ
- cpp
- Lĩnh vực
- hpc, performance
Hướng nghiên cứu
Không có tệp, bài kiểm thử hoặc entry point nào được nêu. Trước tiên, hãy làm rõ biểu diễn tensor 4-bit và 8-bit được dự định cũng như phạm vi mong đợi của ví dụ, sau đó xác định các entry point liên quan đến tensor và tính toán GPU; phần hoàn thiện cần bao gồm một ví dụ hoạt động được, chứng minh băng thông bộ nhớ giảm theo yêu cầu.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Although it may be out of scope, it would be nice to have an example of computing 4bit and 8bit tensors, to save memory bandwidth.
- Ngôn ngữ chính
- C++
- Star
- 4k
- Fork
- 199
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của AnswerDotAI/gpu.cpp
-
Find the optimal LIMIT setting Đang mở
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
AnswerDotAI/gpu.cpp#72 ·
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100
AnswerDotAI/gpu.cpp#51 ·
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 35/100
AnswerDotAI/gpu.cpp#48 ·
-
Does gpu.cpp support f64 or i64? Đang mở
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 35/100
AnswerDotAI/gpu.cpp#45 · 4 bình luận ·
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100
AnswerDotAI/gpu.cpp#42 · 8 bình luận ·
Tất cả issue của AnswerDotAI/gpu.cpp
Issue tương tự
-
ai_reviewed
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
ydb-platform/ydb#53869 · 3 bình luận ·
-
bug cert blocker needs triage
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
project-chip/connectedhomeip#74373 ·
-
[request] tracy/0.14.1 Đang mởupstream update
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
conan-io/conan-center-index#31035 ·
-
Bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
-
documentation
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 85/100
vllm-project/vllm-ascend#17329 ·