CUDA issue on the Compute Instance
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 25/100
- Tipo di issue
- Bug
- Chiarezza
- Da chiarire
- Stato di attività
- Ferma
- Stack tecnologico
- python, pytorch
- Ambito
- cloud, infrastructure, machine-learning
Direzione di ricerca
Inizia riproducendo python -c "import torch; print(torch.cuda.is_available())" sulla Compute Instance e confrontalo con le Computer Cluster VMs funzionanti. Controlla l’output riportato di nvidia-smi, nvcc --version e l’errore di inizializzazione di CUDA, quindi verifica che PyTorch rilevi le GPU A100 e che il test NCCL venga compilato ed eseguito.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
PyTorch cannot detect GPUs on the Compute Instance with NVIDIA A100 GPUs. nvidia-smi and nvcc --version can return the installed CUDA version and CUDA toolkit versions. But PyTorch returns the following:
# python -c "import torch; print(torch.cuda.is_available())"
/opt/conda/lib/python3.8/site-packages/torch/cuda/__init__.py:80: UserWarning: CUDA initialization: Unexpected error from cudaGetDeviceCount(). Did you run some cuda functions before calling NumCudaDevices() that might have already set an error? Error 802: system not yet initialized (Triggered internally at /opt/pytorch/pytorch/c10/cuda/CUDAFunctions.cpp:112.)
return torch._C._cuda_getDeviceCount() > 0
False
I tried to pull PyTorch container from Nvidia NGC, AML base images, or compile PyTorch using pip/conda with GPU support. All have the same CUDA issue. I also cannot compile NCCL test on the Compute Instance with GPUs.
However, everything works fine on the Computer Cluster VMs. NCCL compiles/runs file and PyTorch has no issue with CUDA. I suspect CUDA is installed but not configured correctly on the Compute Instance VMs.
- Lingua principale
- Jupyter Notebook
- Stelle
- 4.4k
- Fork
- 2.6k
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di Azure/MachineLearningNotebooks
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
Azure/MachineLearningNotebooks#1975 · 1 commento ·
-
duplicates Aperta
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 68/100
Azure/MachineLearningNotebooks#1960 ·
-
machine Aperta
Difficoltà 5/5 Più di una settimana Idoneità per principianti 10/100
Azure/MachineLearningNotebooks#1987 ·
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
Azure/MachineLearningNotebooks#1985 · 1 commento ·
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 35/100
Azure/MachineLearningNotebooks#1981 · 1 reazione ·
Tutte le issue di Azure/MachineLearningNotebooks
Issue simili
-
enhancement
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
palladius/rails8-app-on-gcp#141 · 1 commento ·
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 75/100
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 85/100
-
documentation improve or update documentation priority/low triage
Difficoltà 2/5 Mezza giornata Idoneità per principianti 86/100
warpdotdev/docs#782 · 1 commento ·
-
customer-reported question
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 80/100
Azure/awesome-azd#1017 ·