CUDA issue on the Compute Instance
Ninguém assumiu esta issue ainda.
Avaliação
- Dificuldade
- 4/5
- Tempo estimado
- 3-5 dias
- Facilidade para iniciantes
- 25/100
- Tipo de issue
- Bug
- Clareza
- Precisa de esclarecimento
- Status de atividade
- Estagnada
- Stack de tecnologia
- python, pytorch
- Domínio
- cloud, infrastructure, machine-learning
Direção de pesquisa
Comece reproduzindo python -c "import torch; print(torch.cuda.is_available())" na Compute Instance e comparando o resultado com as Computer Cluster VMs funcionais. Verifique a saída reportada de nvidia-smi, nvcc --version e o erro de inicialização do CUDA; em seguida, confirme que o PyTorch detecta as GPUs A100 e que o teste do NCCL compila e é executado.
Escrita pelo modelo de indexação a partir do texto da issue.
Descrição
PyTorch cannot detect GPUs on the Compute Instance with NVIDIA A100 GPUs. nvidia-smi and nvcc --version can return the installed CUDA version and CUDA toolkit versions. But PyTorch returns the following:
# python -c "import torch; print(torch.cuda.is_available())"
/opt/conda/lib/python3.8/site-packages/torch/cuda/__init__.py:80: UserWarning: CUDA initialization: Unexpected error from cudaGetDeviceCount(). Did you run some cuda functions before calling NumCudaDevices() that might have already set an error? Error 802: system not yet initialized (Triggered internally at /opt/pytorch/pytorch/c10/cuda/CUDAFunctions.cpp:112.)
return torch._C._cuda_getDeviceCount() > 0
False
I tried to pull PyTorch container from Nvidia NGC, AML base images, or compile PyTorch using pip/conda with GPU support. All have the same CUDA issue. I also cannot compile NCCL test on the Compute Instance with GPUs.
However, everything works fine on the Computer Cluster VMs. NCCL compiles/runs file and PyTorch has no issue with CUDA. I suspect CUDA is installed but not configured correctly on the Compute Instance VMs.
- Linguagem predominante
- Jupyter Notebook
- Estrelas
- 4.4k
- Forks
- 2.6k
- Métricas de merge de PRs
- Nenhum PR com merge em 30d
Preparar o ambiente
Este projeto não oferece contêiner de desenvolvimento, Dockerfile nem guia de contribuição, então a configuração fica por sua conta: comece pelo README e veja nosso guia da primeira contribuição para os passos gerais.
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de Azure/MachineLearningNotebooks
-
Incorrect type hint for azure.ai.ml.sweep.ChoiceTalvez livre de novo @Riddhi743 assumiu há 50 dias e não há nenhum pull request aberto. Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 72/100
Azure/MachineLearningNotebooks#1975 · 1 comentário ·
-
duplicatesAberta
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 68/100
Azure/MachineLearningNotebooks#1960 ·
-
machineAberta
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 10/100
Azure/MachineLearningNotebooks#1987 ·
-
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 25/100
Azure/MachineLearningNotebooks#1985 · 1 comentário ·
-
Dependencies to azure-storage-blob should be updatedTalvez já em andamento @PraveenMudalgeri assumiu há 432 dias. Aberta
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 35/100
Azure/MachineLearningNotebooks#1981 · 1 reação ·
Todas as issues de Azure/MachineLearningNotebooks
Issues semelhantes
-
[Bug] The Aliyun cloud instance catalog silently truncates on a short pageTalvez já em andamento Um pull request vinculado a esta issue está aberto ou já foi mesclado. Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 74/100
apache/rocketmq-dashboard#6083 ·
Mantenedores costumam responder em até 4 dias
-
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 72/100
Mantenedores costumam responder em até 1 dia
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 78/100
awslabs/agentcore-samples#2180 ·
Mantenedores costumam responder em até 1 dia
-
enhancement good first issue
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 70/100
-
needs triage
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 72/100
Mantenedores costumam responder em até 1 dia