pytorch/serve

RuntimeError: CUDA error: no kernel image is available for execution on the device

Open

#1.754 aberto em 22 de jul. de 2022

Ver no GitHub
 (7 comments) (0 reactions) (0 assignees)Java (3.844 stars) (790 forks)batch import
help wanted

Description

I am deploying a model using torchserve. It was easily deployed on Tesla K80 GPU. But now when i shifted it to newer GPU Nvidia A30. I am getting this error

torch_version: '1.12.0+cu113' cudnn_version: 8302

image

PFA Nvidia-smi Screenshot

image

Guia do colaborador

Pilha de tecnologia
pythonpytorch
Domain
machine learningbackend
Tipo Issue
bug
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
4
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
half day
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
stale
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
mostly clear
Prerequisites
Familiarity with PyTorch and CUDAUnderstanding of GPU compute capabilities
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
30
Direção de pesquisa
This issue requires investigating the CUDA compute capability of the A30 GPU (8.0) and ensuring the installed PyTorch version (1.12.0+cu113) includes kernels for that architecture. Check the PyTorch documentation on CUDA compute capabilities and possibly reinstall a compatible PyTorch build. Also verify the torchserve configuration for GPU device selection.