Consider using pre-built Flash Attention kernels via `kernels`
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 35/100
- issue の種類
- 機能追加
- 明瞭さ
- おおむね明確
- 活発さ
- 静か
- 技術スタック
- python
調査の方向性
Start by locating where this project uses Flash Attention and how that dependency is installed or built; the issue does not name files or tests. Compare the existing integration with the kernels package's kernels-community/flash-attn3 entry point, then determine whether supported machines and outputs meet the project's needs. Done means the maintainers agree on the integration and its scope; the issue offers a draft but does not specify acceptance criteria.
索引モデルが issue の本文から書いたものです。
説明
Hey,
I am Sayak from the Kernels team at Hugging Face. I noticed that this project uses Flash Attention which includes a long build time. We ship pre-built binaries (which provide bit-exact outputs as the upstream) and thereby, we make it easy to use.
Using FA3 on a supported machine is as easy as:
# make sure `kernels` is installed: `pip install -U kernels`
from kernels import get_kernel
kernel_module = get_kernel("kernels-community/flash-attn3")
flash_attn_func = kernel_module.flash_attn_func
flash_attn_func(...)
Let us know if you'd be interested in this and and we'd be happy to provide a draft of how it would look in your repo.
- 主要言語
- Python
- スター
- 3.5k
- フォーク
- 328
- 平均マージ
- 16時間 25分
- マージ済み PR(30日)
- 121
環境構築
このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
superlinked/sie のほかの issue
-
MODEL_NOT_FOUND gives no suggestion for a model listed only as model:profile対応中かも @ShaiShmuel が今日担当しました。 オープンenhancement rust
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
superlinked/sie#985 ·
メンテナーはふだん 1 日以内に返信
-
難易度 4/5 3〜5日 初心者へのやさしさ 42/100
superlinked/sie#969 ·
メンテナーはふだん 1 日以内に返信
-
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
superlinked/sie#903 · コメント 4 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
superlinked/sie#892 ·
メンテナーはふだん 1 日以内に返信
-
難易度 4/5 3〜5日 初心者へのやさしさ 25/100
superlinked/sie#851 · コメント 4 件 ·
メンテナーはふだん 1 日以内に返信
superlinked/sie の issue をすべて見る
似ている issue
-
難易度 1/5 1〜3時間 初心者へのやさしさ 76/100
samuelclay/NewsBlur#2214 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 88/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
readthedocs/readthedocs-builder#73 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
reflex-dev/reflex#7915 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信