kernels benchmark does not support XPU
メンテナーはふだん 1 日以内に返信
評価
この issue はまだ評価されていません。
説明
Description
Expected the XPU to be discovered and used for benchmarking for kernels that have XPU versions.
Steps to reproduce
# Will open PR to add kernels[xpu] soon
uv pip install --index https://download.pytorch.org/whl/xpu "torch==2.12+xpu"
uv pip install "kernels[benchmark]"
source .venv/bin/activate
kernels benchmark kernels-community/flash-attn2 --version 1
Traceback (most recent call last):
File "/dan/projects/kernels/.venv/bin/kernels", line 10, in <module>
sys.exit(main())
^^^^^^
File "/dan/projects/kernels/.venv/lib/python3.12/site-packages/kernels/cli/__init__.py", line 87, in main
args.func(args)
File "/dan/projects/kernels/.venv/lib/python3.12/site-packages/kernels/cli/__init__.py", line 165, in run_benchmark
benchmark.run_benchmark(
File "/dan/projects/kernels/.venv/lib/python3.12/site-packages/kernels/cli/benchmark.py", line 751, in run_benchmark
results, kernel_sha = run_benchmark_script(
^^^^^^^^^^^^^^^^^^^^^
File "/dan/projects/kernels/.venv/lib/python3.12/site-packages/kernels/cli/benchmark.py", line 650, in run_benchmark_script
results, kernel_sha = run_benchmark_class(
^^^^^^^^^^^^^^^^^^^^
File "/dan/projects/kernels/.venv/lib/python3.12/site-packages/kernels/cli/benchmark.py", line 501, in run_benchmark_class
setup_fn()
File "/dan/projects/kernels/.venv/lib/python3.12/site-packages/kernels/benchmarks/attention.py", line 75, in setup_large
self.q = torch.randn(B, S, H, D, device="cuda", dtype=torch.float16)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/dan/projects/kernels/.venv/lib/python3.12/site-packages/torch/cuda/__init__.py", line 484, in _lazy_init
raise AssertionError("Torch not compiled with CUDA enabled")
Expected behavior
Measure performance.
Environment
- kernels 0.15.2
- python 3.12.13
- torch 2.12.0+xpu
- triton-xpu 3.7.1
- Linux
Additional context
No response
- 主要言語
- Python
- スター
- 783
- フォーク
- 143
- 平均マージ
- 1日 15時間
- マージ済み PR（30日）
- 64
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートあり
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
huggingface/kernels のほかの issue
-
kernels-common: hash_variant loads entire file into memory, causing high RSS on large .so filesオープン
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
huggingface/kernels#956 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
kernels benchmark pulls from the old model repos and says every gpu is cpu対応中かも @drbh が 11 日前に担当しました。 オープンbug
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
huggingface/kernels#914 · コメント 1 件 · 担当者 1 名 ·
メンテナーはふだん 1 日以内に返信
-
難易度 4/5 3〜5日 初心者へのやさしさ 52/100
huggingface/kernels#970 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 4/5 3〜5日 初心者へのやさしさ 48/100
huggingface/kernels#949 ·
メンテナーはふだん 1 日以内に返信
-
Add `kernels describe-api` to the "use layers" cookbook対応中かも @ariG23498 が 22 日前に担当しました。 オープン
huggingface/kernels#906 · コメント 3 件 · 担当者 1 名 ·
メンテナーはふだん 1 日以内に返信
huggingface/kernels の issue をすべて見る
似ている issue
-
難易度 1/5 1〜3時間 初心者へのやさしさ 88/100
aws-samples/sample-per-model-bedrock#782 ·
メンテナーはふだん 1 日以内に返信
-
Google text documents are base64-encoded twice対応中かも @feiiiiii5 が今日担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
メンテナーはふだん 1 日以内に返信
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
coveragepy/coveragepy#2364 ·
メンテナーはふだん 1 日以内に返信
-
難易度 1/5 1時間未満 初心者へのやさしさ 72/100