CUDA issue on the Compute Instance
还没有人认领这个 Issue。
评估
- 难度
- 4/5
- 预计耗时
- 3-5 天
- 新手友好度
- 25/100
- Issue 类型
- 缺陷
- 描述清晰度
- 需要澄清
- 活跃度
- 停滞
- 技术栈
- python, pytorch
调研方向
首先在 Compute Instance 上复现 python -c "import torch; print(torch.cuda.is_available())"，并将结果与正常工作的 Computer Cluster VMs 进行比较。检查报告的 nvidia-smi、nvcc --version 输出以及 CUDA 初始化错误，然后验证 PyTorch 能检测到 A100 GPU，并确认 NCCL 测试能够编译和运行。
由索引模型根据 Issue 内容生成。
描述
PyTorch cannot detect GPUs on the Compute Instance with NVIDIA A100 GPUs. nvidia-smi and nvcc --version can return the installed CUDA version and CUDA toolkit versions. But PyTorch returns the following:
# python -c "import torch; print(torch.cuda.is_available())"
/opt/conda/lib/python3.8/site-packages/torch/cuda/__init__.py:80: UserWarning: CUDA initialization: Unexpected error from cudaGetDeviceCount(). Did you run some cuda functions before calling NumCudaDevices() that might have already set an error? Error 802: system not yet initialized (Triggered internally at /opt/pytorch/pytorch/c10/cuda/CUDAFunctions.cpp:112.)
return torch._C._cuda_getDeviceCount() > 0
False
I tried to pull PyTorch container from Nvidia NGC, AML base images, or compile PyTorch using pip/conda with GPU support. All have the same CUDA issue. I also cannot compile NCCL test on the Compute Instance with GPUs.
However, everything works fine on the Computer Cluster VMs. NCCL compiles/runs file and PyTorch has no issue with CUDA. I suspect CUDA is installed but not configured correctly on the Compute Instance VMs.
- 主要语言
- Jupyter Notebook
- 星标
- 4.4k
- 派生
- 2.6k
- PR 合并指标
- 30 天内没有已合并 PR
贡献指南
这个仓库没有索引到贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
Azure/MachineLearningNotebooks 的其他 Issue
-
难度 2/5 1-3 小时 新手友好度 72/100
Azure/MachineLearningNotebooks#1975 · 1 条评论 ·
-
duplicates 未关闭
难度 1/5 1 小时以内 新手友好度 68/100
Azure/MachineLearningNotebooks#1960 ·
-
machine 未关闭
难度 5/5 一周以上 新手友好度 10/100
Azure/MachineLearningNotebooks#1987 ·
-
难度 5/5 一周以上 新手友好度 25/100
Azure/MachineLearningNotebooks#1985 · 1 条评论 ·
-
难度 3/5 1-2 天 新手友好度 35/100
Azure/MachineLearningNotebooks#1981 · 1 个 reaction ·
查看 Azure/MachineLearningNotebooks 的全部 Issue
相似的 Issue
-
enhancement
难度 2/5 1-3 小时 新手友好度 75/100
palladius/rails8-app-on-gcp#141 · 1 条评论 ·
-
难度 1/5 1 小时以内 新手友好度 75/100
-
难度 1/5 1 小时以内 新手友好度 85/100
-
enhancement
难度 2/5 1-3 小时 新手友好度 65/100
aws-samples/sample-multi-agent-orchestration-chat-on-agentcore#123 ·
-
documentation improve or update documentation priority/low triage
难度 2/5 半天 新手友好度 86/100
warpdotdev/docs#782 · 1 条评论 ·