CUDA issue on the Compute Instance
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 25/100
- issue の種類
- バグ
- 明瞭さ
- 説明が足りない
- 活発さ
- 停滞
- 技術スタック
- python, pytorch
調査の方向性
まず Compute Instance 上で python -c "import torch; print(torch.cuda.is_available())" を再現し、動作している Computer Cluster VMs と比較します。報告された nvidia-smi、nvcc --version の結果と CUDA の初期化エラーを確認し、その後、PyTorch が A100 GPU を検出すること、および NCCL テストがコンパイルされて実行されることを検証します。
索引モデルが issue の本文から書いたものです。
説明
PyTorch cannot detect GPUs on the Compute Instance with NVIDIA A100 GPUs. nvidia-smi and nvcc --version can return the installed CUDA version and CUDA toolkit versions. But PyTorch returns the following:
# python -c "import torch; print(torch.cuda.is_available())"
/opt/conda/lib/python3.8/site-packages/torch/cuda/__init__.py:80: UserWarning: CUDA initialization: Unexpected error from cudaGetDeviceCount(). Did you run some cuda functions before calling NumCudaDevices() that might have already set an error? Error 802: system not yet initialized (Triggered internally at /opt/pytorch/pytorch/c10/cuda/CUDAFunctions.cpp:112.)
return torch._C._cuda_getDeviceCount() > 0
False
I tried to pull PyTorch container from Nvidia NGC, AML base images, or compile PyTorch using pip/conda with GPU support. All have the same CUDA issue. I also cannot compile NCCL test on the Compute Instance with GPUs.
However, everything works fine on the Computer Cluster VMs. NCCL compiles/runs file and PyTorch has no issue with CUDA. I suspect CUDA is installed but not configured correctly on the Compute Instance VMs.
- 主要言語
- Jupyter Notebook
- スター
- 4.4k
- フォーク
- 2.6k
- PR マージ指標
- 30日以内にマージされた PR はありません
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
Azure/MachineLearningNotebooks のほかの issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
Azure/MachineLearningNotebooks#1975 · コメント 1 件 ·
-
duplicates オープン
難易度 1/5 1時間未満 初心者へのやさしさ 68/100
Azure/MachineLearningNotebooks#1960 ·
-
machine オープン
難易度 5/5 1週間以上 初心者へのやさしさ 10/100
Azure/MachineLearningNotebooks#1987 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
Azure/MachineLearningNotebooks#1985 · コメント 1 件 ·
-
難易度 3/5 1〜2日 初心者へのやさしさ 35/100
Azure/MachineLearningNotebooks#1981 · リアクション 1 件 ·
Azure/MachineLearningNotebooks の issue をすべて見る
似ている issue
-
enhancement
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
palladius/rails8-app-on-gcp#141 · コメント 1 件 ·
-
難易度 1/5 1時間未満 初心者へのやさしさ 75/100
-
難易度 1/5 1時間未満 初心者へのやさしさ 85/100
-
enhancement
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
aws-samples/sample-multi-agent-orchestration-chat-on-agentcore#123 ·
-
documentation improve or update documentation priority/low triage
難易度 2/5 半日 初心者へのやさしさ 86/100
warpdotdev/docs#782 · コメント 1 件 ·