CUDA issue on the Compute Instance
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Anfängerfreundlichkeit
- 25/100
- Issue-Typ
- Bug
- Klarheit
- Muss geklärt werden
- Aktivitätsstatus
- Veraltet
- Tech-Stack
- python, pytorch
- Bereich
- cloud, infrastructure, machine-learning
Rechercherichtung
Beginne damit, python -c "import torch; print(torch.cuda.is_available())" auf der Compute Instance auszuführen und das Ergebnis mit den funktionierenden Computer Cluster VMs zu vergleichen. Überprüfe die gemeldeten Ausgaben von nvidia-smi, nvcc --version und den CUDA-Initialisierungsfehler und verifiziere anschließend, dass PyTorch die A100-GPUs erkennt und dass der NCCL-Test kompiliert wird und läuft.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
PyTorch cannot detect GPUs on the Compute Instance with NVIDIA A100 GPUs. nvidia-smi and nvcc --version can return the installed CUDA version and CUDA toolkit versions. But PyTorch returns the following:
# python -c "import torch; print(torch.cuda.is_available())"
/opt/conda/lib/python3.8/site-packages/torch/cuda/__init__.py:80: UserWarning: CUDA initialization: Unexpected error from cudaGetDeviceCount(). Did you run some cuda functions before calling NumCudaDevices() that might have already set an error? Error 802: system not yet initialized (Triggered internally at /opt/pytorch/pytorch/c10/cuda/CUDAFunctions.cpp:112.)
return torch._C._cuda_getDeviceCount() > 0
False
I tried to pull PyTorch container from Nvidia NGC, AML base images, or compile PyTorch using pip/conda with GPU support. All have the same CUDA issue. I also cannot compile NCCL test on the Compute Instance with GPUs.
However, everything works fine on the Computer Cluster VMs. NCCL compiles/runs file and PyTorch has no issue with CUDA. I suspect CUDA is installed but not configured correctly on the Compute Instance VMs.
- Vorherrschende Sprache
- Jupyter Notebook
- Sterne
- 4.4k
- Forks
- 2.6k
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Entwicklungsumgebung
Dieses Projekt bietet weder Dev-Container noch Dockerfile noch Beitragsleitfaden – die Einrichtung liegt bei Ihnen. Beginnen Sie mit der README; die allgemeinen Schritte stehen in unserem Leitfaden für den ersten Beitrag.
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus Azure/MachineLearningNotebooks
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
Azure/MachineLearningNotebooks#1975 · 1 Kommentar ·
-
duplicatesOffen
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 68/100
Azure/MachineLearningNotebooks#1960 ·
-
machineOffen
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 10/100
Azure/MachineLearningNotebooks#1987 ·
-
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 25/100
Azure/MachineLearningNotebooks#1985 · 1 Kommentar ·
-
Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 35/100
Azure/MachineLearningNotebooks#1981 · 1 Reaktion ·
Alle Issues in Azure/MachineLearningNotebooks
Ähnliche Issues
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 74/100
googleapis/google-cloud-dart#366 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 90/100
kedacore/keda#8225 · 1 Kommentar ·
Maintainer antworten meist innerhalb von 1 Tag
-
bug status/needs-triage
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 86/100
prowler-cloud/prowler#12887 · 1 Kommentar ·
Maintainer antworten meist innerhalb von 1 Tag
-
area-deployment triage:bot-seen triage:needs-human
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 68/100
microsoft/aspire#20533 · 1 Kommentar ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 1/5 1-3 Stunden Anfängerfreundlichkeit 88/100
modelcontextprotocol/python-sdk#3590 ·
Maintainer antworten meist innerhalb von 1 Tag