JuliaGPU/CUDA.jl

Add stream pool to avoid cuStreamCreate overhead

Open

#2012 aperta il 29 lug 2023

Vedi su GitHub
 (0 commenti) (0 reazioni) (0 assegnatari)Julia (274 fork)batch import
enhancementgood first issueperformance

Metriche repository

Star
 (1408 star)
Metriche merge PR
 (Merge medio 5g 5h) (16 PR mergiate in 30 g)

Descrizione

Describe the bug

I tried adding multithreading to our code, and now we see occasional pauses due to CuStreamCreate:

Could be fixed by adding a Stream pool?

To reproduce

Available on request

Expected behavior

No pauses

Version info

Not sure exactly, I think it was Julia 1.8.5 with CUDA.jl 3.13.1 and CUDA 11.2.

Once our cluster upgrades the drivers, I can rerun with CUDA 12.

Additional context

cc @lcw

Guida contributor

Direzione di ricerca
Indaga sul meccanismo corrente di allocazione degli stream in CUDA.jl, probabilmente nei file relativi agli stream CUDA. Esamina come altri framework implementano il pooling degli stream, come in PyTorch o TensorRT. Proponi un design per un pool di stream thread safe che pre allochi gli stream per evitare l'overhead di cuStreamCreate in contesti multithread.
Tech stack
Nessuno
Dominio
backend
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
JuliaCUDAGit
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
45