JuliaGPU/CUDA.jl

Add stream pool to avoid cuStreamCreate overhead

Open

#2 012 ouverte le 29 juil. 2023

Voir sur GitHub
 (0 commentaires) (0 réactions) (0 assignés)Julia (274 forks)batch import
enhancementgood first issueperformance

Métriques du dépôt

Stars
 (1 408 stars)
Métriques de merge PR
 (Merge moyen 5j 5h) (16 PRs mergées en 30 j)

Description

Describe the bug

I tried adding multithreading to our code, and now we see occasional pauses due to CuStreamCreate:

Could be fixed by adding a Stream pool?

To reproduce

Available on request

Expected behavior

No pauses

Version info

Not sure exactly, I think it was Julia 1.8.5 with CUDA.jl 3.13.1 and CUDA 11.2.

Once our cluster upgrades the drivers, I can rerun with CUDA 12.

Additional context

cc @lcw

Guide contributeur

Direction de recherche
Étudiez le mécanisme actuel d'allocation de flux dans CUDA.jl, probablement dans les fichiers liés aux flux CUDA. Examinez comment d'autres frameworks implémentent le pool de flux, comme dans PyTorch ou TensorRT. Proposez une conception pour un pool de flux thread safe qui pré alloue des flux pour éviter la surcharge de cuStreamCreate dans des contextes multithread.
Stack technique
Aucun
Domaine
backend
Type d'issue
Bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Une demi journée
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
JuliaCUDAGit
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
45