CUDA issue on the Compute Instance
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Accessibilité débutants
- 25/100
- Type d'issue
- Bug
- Clarté
- À clarifier
- Activité
- À l'abandon
- Stack technique
- python, pytorch
- Domaine
- cloud, infrastructure, machine-learning
Piste de recherche
Commencez par reproduire python -c "import torch; print(torch.cuda.is_available())" sur la Compute Instance et comparez le résultat avec celui des Computer Cluster VMs fonctionnelles. Vérifiez les sorties signalées de nvidia-smi, de nvcc --version et l’erreur d’initialisation de CUDA, puis vérifiez que PyTorch détecte les GPU A100 et que le test NCCL se compile et s’exécute.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
PyTorch cannot detect GPUs on the Compute Instance with NVIDIA A100 GPUs. nvidia-smi and nvcc --version can return the installed CUDA version and CUDA toolkit versions. But PyTorch returns the following:
# python -c "import torch; print(torch.cuda.is_available())"
/opt/conda/lib/python3.8/site-packages/torch/cuda/__init__.py:80: UserWarning: CUDA initialization: Unexpected error from cudaGetDeviceCount(). Did you run some cuda functions before calling NumCudaDevices() that might have already set an error? Error 802: system not yet initialized (Triggered internally at /opt/pytorch/pytorch/c10/cuda/CUDAFunctions.cpp:112.)
return torch._C._cuda_getDeviceCount() > 0
False
I tried to pull PyTorch container from Nvidia NGC, AML base images, or compile PyTorch using pip/conda with GPU support. All have the same CUDA issue. I also cannot compile NCCL test on the Compute Instance with GPUs.
However, everything works fine on the Computer Cluster VMs. NCCL compiles/runs file and PyTorch has no issue with CUDA. I suspect CUDA is installed but not configured correctly on the Compute Instance VMs.
- Langage dominant
- Jupyter Notebook
- Étoiles
- 4.4k
- Forks
- 2.6k
- Métriques de merge des PR
- Aucune PR mergée en 30 j
Guide de contribution
Aucun guide de contribution indexé pour ce dépôt
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de Azure/MachineLearningNotebooks
-
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
Azure/MachineLearningNotebooks#1975 · 1 commentaire ·
-
duplicates Ouverte
Difficulté 1/5 Moins d'une heure Accessibilité débutants 68/100
Azure/MachineLearningNotebooks#1960 ·
-
machine Ouverte
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 10/100
Azure/MachineLearningNotebooks#1987 ·
-
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 25/100
Azure/MachineLearningNotebooks#1985 · 1 commentaire ·
-
Difficulté 3/5 1-2 jours Accessibilité débutants 35/100
Azure/MachineLearningNotebooks#1981 · 1 réaction ·
Toutes les issues de Azure/MachineLearningNotebooks
Issues similaires
-
Difficulté 2/5 1-3 heures Accessibilité débutants 70/100
platform-mesh/helm-charts#2521 ·
-
Difficulté 2/5 1-3 heures Accessibilité débutants 75/100
-
Difficulté 2/5 1-3 heures Accessibilité débutants 65/100
n8n-io/terraform-aws-n8n#147 ·
-
Difficulté 2/5 1-3 heures Accessibilité débutants 75/100
carverauto/serviceradar#4596 ·
-
Difficulté 2/5 1-3 heures Accessibilité débutants 70/100
reflex-dev/reflex#7296 · 1 commentaire ·