pytorch/serve

RuntimeError: CUDA error: no kernel image is available for execution on the device

Open

#1 754 ouverte le 22 juil. 2022

Voir sur GitHub
 (7 commentaires) (0 réactions) (0 assignés)Java (3 844 stars) (790 forks)batch import
help wanted

Description

I am deploying a model using torchserve. It was easily deployed on Tesla K80 GPU. But now when i shifted it to newer GPU Nvidia A30. I am getting this error

torch_version: '1.12.0+cu113' cudnn_version: 8302

image

PFA Nvidia-smi Screenshot

image

Guide contributeur

Stack technique
pythonpytorch
Domaine
machine learningbackend
Type d'issue
bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
4
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
half day
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
stale
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
mostly clear
Prérequis
Familiarity with PyTorch and CUDAUnderstanding of GPU compute capabilities
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
30
Direction de recherche
This issue requires investigating the CUDA compute capability of the A30 GPU (8.0) and ensuring the installed PyTorch version (1.12.0+cu113) includes kernels for that architecture. Check the PyTorch documentation on CUDA compute capabilities and possibly reinstall a compatible PyTorch build. Also verify the torchserve configuration for GPU device selection.