Consider using pre-built Flash Attention kernels via `kernels`
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 35/100
- issue の種類
- 機能追加
- 明瞭さ
- 説明が足りない
- 活発さ
- 活発
- 技術スタック
- python
調査の方向性
リポジトリの現在の Flash Attention 統合を特定し、そのビルド依存関係とランタイム依存関係がどこで設定されているかを確認してください。その経路を、Issue にある kernels のインストールおよび get_kernel("kernels-community/flash-attn3") の例と比較してください。完了とは、保守可能な判断、または動作する統合が得られ、サポート対象マシンでの挙動と同等の出力が検証されていることを意味します。
索引モデルが issue の本文から書いたものです。
説明
Hey,
I am Sayak from the Kernels team at Hugging Face. I noticed that this project uses Flash Attention which includes a long build time. We ship pre-built binaries (which provide bit-exact outputs as the upstream) and thereby, we make it easy to use.
Using FA3 on a supported machine is as easy as:
# make sure `kernels` is installed: `pip install -U kernels`
from kernels import get_kernel
kernel_module = get_kernel("kernels-community/flash-attn3")
flash_attn_func = kernel_module.flash_attn_func
flash_attn_func(...)
Let us know if you'd be interested in this and and we'd be happy to provide a draft of how it would look in your repo.
- 主要言語
- Python
- スター
- 2.4k
- フォーク
- 160
- PR マージ指標
- 30日以内にマージされた PR はありません
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
OpenGVLab/InternVideo のほかの issue
-
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
OpenGVLab/InternVideo#324 · コメント 1 件 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 20/100
OpenGVLab/InternVideo#323 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
OpenGVLab/InternVideo#322 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 42/100
OpenGVLab/InternVideo#321 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
OpenGVLab/InternVideo#318 · コメント 4 件 · リアクション 3 件 ·
OpenGVLab/InternVideo の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
anthropics/skills#1811 · コメント 1 件 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
speaches-ai/speaches#678 ·
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
datalayer/mcp-compose#42 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
conda-forge/spacy-feedstock#177 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
UKGovernmentBEIS/inspect_evals#2523 ·