Add support for int4 datatype for afcuda
还没有人认领这个 Issue。
评估
调研方向
首先定位 afcuda 中用于创建数据类型和 matmul 的入口点。在确定所需的表示形式和支持的路径之前,先查看链接的 CUDA 向量类型对齐要求和 quantized matmul 论文。完成的标准是:int4 可以为 afcuda 创建并在 matmul 中使用,并且涵盖受支持的行为。
由索引模型根据 Issue 内容生成。
描述
Add support for int4 datatype at least for afcuda creation and matmul.
Description
- What problem are you trying to solve? quantized matmul
- (Optional) API of new function: no new api, just a new dtype
- (Optional) Algorithms that could be used to implement this feature: no need for algorithm atm
- (Optional)Are there other libraries that implement this feature?
https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html#vector-types-alignment-requirements-in-device-code
https://arxiv.org/abs/2212.09720
- 主要语言
- C++
- 星标
- 4.9k
- 派生
- 555
- 平均合并
- 1 小时 24 分钟
- 30 天内合并 PR
- 1
贡献指南
从这里开始
- 先读完整个 Issue,再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库,在一个分支上完成修改。
- 提交 Pull Request,并在描述里引用这个 Issue 编号。
arrayfire/arrayfire 的其他 Issue
-
bug
难度 2/5 1-3 小时 新手友好度 74/100
-
bug
难度 2/5 1-3 小时 新手友好度 72/100
-
bug
难度 2/5 1-3 小时 新手友好度 76/100
-
bug
难度 4/5 3-5 天 新手友好度 45/100
-
难度 5/5 一周以上 新手友好度 25/100
查看 arrayfire/arrayfire 的全部 Issue
相似的 Issue
-
bug build
难度 1/5 1 小时以内 新手友好度 91/100
facebookincubator/velox#19194 ·
-
JIT-compiled number -> Decimal conversion silently overflows instead of raising DECIMAL_OVERFLOW 未关闭fuzz
难度 2/5 1-3 小时 新手友好度 82/100
ClickHouse/ClickHouse#122114 ·
-
难度 2/5 1-3 小时 新手友好度 84/100
-
module/agent platform/macos type/bug/regression
难度 2/5 1-3 小时 新手友好度 88/100
-
enhancement PyCDE
难度 2/5 1-3 小时 新手友好度 78/100