pytorch/vision

ROCM version is slow

Open

#2 682 ouverte le 17 sept. 2020

Voir sur GitHub
 (7 commentaires) (0 réactions) (0 assignés)Python (15 050 stars) (6 858 forks)batch import
help wantedmodule: rocm

Description

🐛 Bug

Inference speed is abysmal - way slower than cpu. It works as expected on NVidia. I'm not really sure whether this is torch vision or torch itself at fault.

To Reproduce

Steps to reproduce the behavior:

  1. Dockerfile: https://gist.github.com/boniek83/0bbf858a24961816557c522007a11c11
  2. Lab: https://github.com/timesler/facenet-pytorch/blob/master/examples/infer.ipynb
  3. Data for lab: https://github.com/timesler/facenet-pytorch/tree/master/data/test_images

Expected behavior

Performance should be competitive.

Environment

  • PyTorch / torchvision Version (e.g., 1.0 / 0.4.0): 1.6.0 / 0.7.0
  • OS (e.g., Linux): CentOS 7.8
  • How you installed PyTorch / torchvision (conda, pip, source): source
  • Build command you used (if compiling from source): see Dockerfile above
  • Python version: 3.6
  • GPU models and configuration: Radeon VII
  • Any other relevant information: ROCK 3.7 during runtime

cc @iotamudelta @ashishfarmer

Guide contributeur

Stack technique
pythonpytorch
Domaine
performancemachine learning
Type d'issue
bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
4
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
over 1 week
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
stale
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
needs investigation
Prérequis
Understanding of PyTorch internalsExperience with AMD ROCm stackPerformance profiling skills
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
10
Direction de recherche
The issue reports slow inference on AMD ROCm compared to CPU and Nvidia GPUs. Investigate whether the bottleneck is in torchvision or PyTorch core by profiling ROCm kernels. The user provided a Dockerfile and a facenet notebook for reproduction. First, attempt to reproduce the performance issue in a controlled environment. Then compare execution traces with and without ROCm to identify underperforming operations. Look for recent fixes or discussions in PyTorch's ROCm GitHub issues and relevant modules like torchvision's ops.