pytorch/serve

RuntimeError: CUDA error: no kernel image is available for execution on the device

Open

Aperta il 22 lug 2022

Vedi su GitHub
 (7 commenti) (0 reazioni) (0 assegnatari)Java (3844 star) (790 fork)batch import
help wanted

Descrizione

I am deploying a model using torchserve. It was easily deployed on Tesla K80 GPU. But now when i shifted it to newer GPU Nvidia A30. I am getting this error

torch_version: '1.12.0+cu113' cudnn_version: 8302

image

PFA Nvidia-smi Screenshot

image

Guida contributor

Tech stack
pythonpytorch
Dominio
machine learningbackend
Tipo issue
bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
4
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
half day
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
stale
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
mostly clear
Prerequisiti
Familiarity with PyTorch and CUDAUnderstanding of GPU compute capabilities
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
30
Direzione di ricerca
This issue requires investigating the CUDA compute capability of the A30 GPU (8.0) and ensuring the installed PyTorch version (1.12.0+cu113) includes kernels for that architecture. Check the PyTorch documentation on CUDA compute capabilities and possibly reinstall a compatible PyTorch build. Also verify the torchserve configuration for GPU device selection.