Consider using pre-built Flash Attention kernels via `kernels`
维护者通常 1 天内回复
还没有人认领这个 Issue。
评估
- 难度
- 4/5
- 预计耗时
- 3-5 天
- 新手友好度
- 35/100
- Issue 类型
- 功能
- 描述清晰度
- 基本清楚
- 活跃度
- 冷清
- 技术栈
- python
调研方向
Start by locating where this project uses Flash Attention and how that dependency is installed or built; the issue does not name files or tests. Compare the existing integration with the kernels package's kernels-community/flash-attn3 entry point, then determine whether supported machines and outputs meet the project's needs. Done means the maintainers agree on the integration and its scope; the issue offers a draft but does not specify acceptance criteria.
由索引模型根据 Issue 内容生成。
描述
Hey,
I am Sayak from the Kernels team at Hugging Face. I noticed that this project uses Flash Attention which includes a long build time. We ship pre-built binaries (which provide bit-exact outputs as the upstream) and thereby, we make it easy to use.
Using FA3 on a supported machine is as easy as:
# make sure `kernels` is installed: `pip install -U kernels`
from kernels import get_kernel
kernel_module = get_kernel("kernels-community/flash-attn3")
flash_attn_func = kernel_module.flash_attn_func
flash_attn_func(...)
Let us know if you'd be interested in this and and we'd be happy to provide a draft of how it would look in your repo.
- 主要语言
- Python
- 星标
- 3.5k
- 派生
- 328
- 平均合并
- 16 小时 25 分钟
- 30 天内合并 PR
- 121
环境准备
这个项目没有提供开发容器、Dockerfile 或贡献指南,环境需要你自己搭建:先看它的 README,通用步骤见我们的新手贡献指南。
从这里开始
- 先读完整个 Issue,再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库,在一个分支上完成修改。
- 提交 Pull Request,并在描述里引用这个 Issue 编号。
superlinked/sie 的其他 Issue
-
MODEL_NOT_FOUND gives no suggestion for a model listed only as model:profile可能已有人在做 @ShaiShmuel 今天认领。 未关闭enhancement rust
难度 2/5 1-3 小时 新手友好度 65/100
superlinked/sie#985 ·
维护者通常 1 天内回复
-
难度 4/5 3-5 天 新手友好度 42/100
superlinked/sie#969 ·
维护者通常 1 天内回复
-
难度 5/5 一周以上 新手友好度 25/100
superlinked/sie#903 · 4 条评论 ·
维护者通常 1 天内回复
-
难度 5/5 一周以上 新手友好度 25/100
superlinked/sie#892 ·
维护者通常 1 天内回复
-
难度 4/5 3-5 天 新手友好度 25/100
superlinked/sie#851 · 4 条评论 ·
维护者通常 1 天内回复
相似的 Issue
-
难度 1/5 1-3 小时 新手友好度 76/100
samuelclay/NewsBlur#2214 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 68/100
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 88/100
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 68/100
readthedocs/readthedocs-builder#73 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 82/100
reflex-dev/reflex#7915 · 1 条评论 ·
维护者通常 1 天内回复