Array construction queries device properties on every allocation
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 3/5
- 見積もり時間
- 半日
- 初心者へのやさしさ
- 65/100
- issue の種類
- リファクタリング
- 明瞭さ
- 明確に書かれている
- 活発さ
- 活発
- 領域
- performance
調査の方向性
Start in check_eltype and _device_supports_bfloat16 in src/array.jl, and reuse the device_limits cache in src/oneAPIKernels.jl as a pattern. Run the benchmark script in the issue to get a baseline, then check _device_supports_bfloat16 in compilation.jl too. Done when the fp16, fp64 and bf16 flags are cached per device, the capability bits come from module_properties(dev).flags, the benchmark drops well below 1 µs, and test/runtests.jl still passes.
索引モデルが issue の本文から書いたものです。
説明
check_eltype (src/array.jl), which runs on every oneArray construction, queries the driver each time it's called:
oneL0.module_properties(device()), twice (Float16 and Float64 checks);_device_supports_bfloat16(), which on devices that don't advertiseZE_bfloat16_conversions(everything except PVC with recent drivers) falls through tooneL0.properties(dev). That builds the full device-properties NamedTuple, including the nameStringand UUID.
On an Iris Xe (TGL, NEO 26.18) with oneAPI.jl master (fa0f23a2):
| call | median | allocs |
|---|---|---|
oneAPI.check_eltype(Float32) |
29.2 µs | 67 (3.4 KiB) |
oneL0.properties(dev) |
20.9 µs | 32 |
oneL0.module_properties(dev) |
2.6 µs | 15 |
check_eltype with cached capability flags |
0.08 µs | 1 |
Allocating and freeing a small array (unsafe_free!(oneArray{Float32}(undef, 16))) takes about 25 µs on an idle machine, so this check accounts for most of the cost of a small allocation. A profile shows most samples under check_eltype → _device_supports_bfloat16 → properties. Arrays allocated inside GPUArrays/AcceleratedKernels internals (reduction scratch space, similar) pay this cost as well.
Suggested fix: compute the per-device capability flags (fp16, fp64, bf16) once and cache them, like device_limits in src/oneAPIKernels.jl does (a Dict keyed by ZeDevice), or memoize properties/module_properties themselves, since they're static for a device. compilation.jl also calls _device_supports_bfloat16(dev), so it would benefit too.
While you're there: check_eltype (and test/runtests.jl) test fp16flags & ZE_DEVICE_MODULE_FLAG_FP16 and fp64flags & ZE_DEVICE_MODULE_FLAG_FP64. But fp16flags/fp64flags are ze_device_fp_flags_t (DENORM=1, INF_NAN=2, ...), not ze_device_module_flags_t, so these checks test the denorm/inf-nan bits. They give the right answer in practice (a device either reports no fp64 flags at all or reports the full set), but the capability bits are in module_properties(dev).flags, which is what device_limits already uses.
Benchmark script
using oneAPI, BenchmarkTools
const L0 = oneAPI.oneL0
dev = device()
@benchmark oneAPI.check_eltype(Float32)
@benchmark L0.module_properties($dev)
@benchmark L0.properties($dev)
const cache = Dict{L0.ZeDevice,NTuple{3,Bool}}()
caps(d=device()) = get!(cache, d) do
m = L0.module_properties(d)
(m.flags & L0.ZE_DEVICE_MODULE_FLAG_FP16 != 0,
m.flags & L0.ZE_DEVICE_MODULE_FLAG_FP64 != 0,
oneAPI._device_supports_bfloat16(d))
end
function check_cached(T)
Base.allocatedinline(T) || error()
fp16, fp64, bf16 = caps()
fp16 || (oneAPI.contains_eltype(T, Float16) && error())
fp64 || (oneAPI.contains_eltype(T, Float64) && error())
bf16 || (oneAPI.contains_eltype(T, Core.BFloat16) && error())
nothing
end
@benchmark check_cached(Float32)
- 主要言語
- Julia
- スター
- 217
- フォーク
- 37
- 平均マージ
- 1日 7時間
- マージ済み PR(30日)
- 33
環境構築
このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
JuliaGPU/oneAPI.jl のほかの issue
-
難易度 4/5 3〜5日 初心者へのやさしさ 25/100
メンテナーはふだん 1 日以内に返信
-
難易度 5/5 1週間以上 初心者へのやさしさ 35/100
JuliaGPU/oneAPI.jl#663 · リアクション 1 件 ·
メンテナーはふだん 1 日以内に返信
-
Track outstanding GPU work per allocation for host-accessible arrays対応中かも @maleadt が 2 日前に担当しました。 オープン
難易度 5/5 1週間以上 初心者へのやさしさ 45/100
メンテナーはふだん 1 日以内に返信
-
難易度 4/5 3〜5日 初心者へのやさしさ 35/100
JuliaGPU/oneAPI.jl#607 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 4/5 3〜5日 初心者へのやさしさ 48/100
メンテナーはふだん 1 日以内に返信
JuliaGPU/oneAPI.jl の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
SciML/OrdinaryDiffEq.jl#4875 ·
メンテナーはふだん 3 日以内に返信
-
documentation
難易度 2/5 1〜3時間 初心者へのやさしさ 62/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 66/100
SciML/NonlinearSolve.jl#1372 ·
メンテナーはふだん 1 日以内に返信
-
Truncated discrete ccdf and logccdf return incorrect values at the lower atom対応中かも このイシューにリンクされたプルリクエストがオープン中、またはマージ済みです。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
JuliaStats/Distributions.jl#2095 ·
-
documentation 📜 microphysics💧 ❄️
難易度 2/5 1〜3時間 初心者へのやさしさ 63/100
NumericalEarth/Breeze.jl#1073 ·
メンテナーはふだん 1 日以内に返信