Consider using pre-built Flash Attention kernels via `kernels`
还没有人认领这个 Issue。
评估
- 难度
- 4/5
- 预计耗时
- 3-5 天
- 新手友好度
- 35/100
- Issue 类型
- 功能
- 描述清晰度
- 需要澄清
- 活跃度
- 活跃
- 技术栈
- python
调研方向
定位 repository 当前的 Flash Attention 集成，并确定其构建依赖和运行时依赖在哪里配置。将该路径与 issue 中 kernels 的安装方式以及 get_kernel("kernels-community/flash-attn3") 示例进行比较。完成应意味着得出一个可维护的决策或实现可工作的集成，并验证其在受支持机器上的行为以及等效输出。
由索引模型根据 Issue 内容生成。
描述
Hey,
I am Sayak from the Kernels team at Hugging Face. I noticed that this project uses Flash Attention which includes a long build time. We ship pre-built binaries (which provide bit-exact outputs as the upstream) and thereby, we make it easy to use.
Using FA3 on a supported machine is as easy as:
# make sure `kernels` is installed: `pip install -U kernels`
from kernels import get_kernel
kernel_module = get_kernel("kernels-community/flash-attn3")
flash_attn_func = kernel_module.flash_attn_func
flash_attn_func(...)
Let us know if you'd be interested in this and and we'd be happy to provide a draft of how it would look in your repo.
- 主要语言
- Python
- 星标
- 2.4k
- 派生
- 160
- PR 合并指标
- 30 天内没有已合并 PR
贡献指南
这个仓库没有索引到贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
OpenGVLab/InternVideo 的其他 Issue
-
难度 5/5 一周以上 新手友好度 25/100
OpenGVLab/InternVideo#324 · 1 条评论 ·
-
难度 5/5 一周以上 新手友好度 20/100
OpenGVLab/InternVideo#323 ·
-
难度 5/5 一周以上 新手友好度 25/100
OpenGVLab/InternVideo#322 ·
-
难度 4/5 3-5 天 新手友好度 42/100
OpenGVLab/InternVideo#321 ·
-
难度 5/5 一周以上 新手友好度 25/100
OpenGVLab/InternVideo#318 · 4 条评论 · 3 个 reaction ·
查看 OpenGVLab/InternVideo 的全部 Issue
相似的 Issue
-
area: harness bug status: needs-triage
难度 2/5 1-3 小时 新手友好度 75/100
Human-Agent-Society/reef#625 ·
-
难度 2/5 1-3 小时 新手友好度 70/100
-
难度 1/5 1 小时以内 新手友好度 80/100
learningequality/kolibri#15351 · 2 条评论 ·
-
难度 2/5 1-3 小时 新手友好度 75/100
-
Name consistency 未关闭
难度 2/5 1-3 小时 新手友好度 75/100
eellak/triplestore#65 · 1 条评论 ·