pytorch/serve

RuntimeError: CUDA error: no kernel image is available for execution on the device

Open

#1.754 geöffnet am 22. Juli 2022

Auf GitHub ansehen
 (7 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Java (3.844 Stars) (790 Forks)batch import
help wanted

Beschreibung

I am deploying a model using torchserve. It was easily deployed on Tesla K80 GPU. But now when i shifted it to newer GPU Nvidia A30. I am getting this error

torch_version: '1.12.0+cu113' cudnn_version: 8302

image

PFA Nvidia-smi Screenshot

image

Contributor Guide

Tech Stack
pythonpytorch
Domain
machine learningbackend
Issue Type
bug
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
4
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
half day
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
stale
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
mostly clear
Voraussetzungen
Familiarity with PyTorch and CUDAUnderstanding of GPU compute capabilities
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
30
Research-Richtung
This issue requires investigating the CUDA compute capability of the A30 GPU (8.0) and ensuring the installed PyTorch version (1.12.0+cu113) includes kernels for that architecture. Check the PyTorch documentation on CUDA compute capabilities and possibly reinstall a compatible PyTorch build. Also verify the torchserve configuration for GPU device selection.