Illegal memory access on non-0 cuda devices from `histogram`
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 35/100
- issue の種類
- バグ
- 明瞭さ
- おおむね明確
- 活発さ
- 停滞
調査の方向性
cuda:1 上で CUDA_LAUNCH_BLOCKING=1 を設定して megablocks.ops.histogram を使用し、issue の再現から始めます。次に、traceback に示されているエントリポイントである megablocks/ops/histogram.py を調べます。histogram が不正なメモリアクセスなしで実行され、ゼロ以外の CUDA デバイス上のテンソルに対して期待される結果を計算できれば完了です。
索引モデルが issue の本文から書いたものです。
説明
When the input tensor is not on device 0, histogram causes an illegal memory access which prevents indices_and_bins from being computed correctly on a model & inputs which aren't on device zero.
Reproduction:
import torch
import megablocks
idx = 1
device = f'cuda:{idx}'
test_tensor = torch.tensor([ 0 ], dtype=torch.int64, device=device)
result = megablocks.ops.histogram(test_tensor, 1).cpu()
when run with CUDA_LAUNCH_BLOCKING=1 we get
Traceback (most recent call last):
File "/home/ubuntu/test_mb.py", line 8, in <module>
result = megablocks.ops.histogram(test_tensor, 1).cpu()
File "/home/ubuntu/.local/lib/python3.10/site-packages/torch/autograd/function.py", line 598, in apply
return super().apply(*args, **kwargs) # type: ignore[misc]
File "/home/ubuntu/.local/lib/python3.10/site-packages/megablocks/ops/histogram.py", line 17, in forward
return ops.histogram(x, max_val)
RuntimeError: an illegal memory access was encountered
whereas when idx is set to 0 the correct values are computed. Quite confused as to how this might be possible.
I'm on megablocks 0.5.1,
numpy==2.0.0
torch==2.3.1
torchaudio==2.3.1
torchvision==0.18.1
triton==2.3.1
Cuda = 12.1 and reproduced on 2 A100's.
- 主要言語
- Python
- スター
- 1.6k
- フォーク
- 228
- PR マージ指標
- 30日以内にマージされた PR はありません
環境構築
- Dockerfile または Docker Compose ファイルあり
- プルリクエストのテンプレートあり
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
メンテナーはふだん 1 日以内に返信
-
enhancement good first issue
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
elviskahoro/sdk-python-attio#144 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
メンテナーはふだん 1 日以内に返信
-
RenyiELBO raises TypeError when model has no sample sites対応中かも @alibb007 が今日担当しました。 オープン
難易度 1/5 1時間未満 初心者へのやさしさ 85/100
メンテナーはふだん 1 日以内に返信
-
[Bug]: Four evaluation scripts unpack init_memmachine_params's five return values into three namesオープン
難易度 1/5 1時間未満 初心者へのやさしさ 88/100
MemMachine/MemMachine#1911 ·
メンテナーはふだん 3 日以内に返信