JuliaGPU/CUDA.jl

Add stream pool to avoid cuStreamCreate overhead

Open

#2.012 aberto em 29 de jul. de 2023

Ver no GitHub
 (0 comments) (0 reactions) (0 assignees)Julia (274 forks)batch import
enhancementgood first issueperformance

Métricas do repositório

Stars
 (1.408 stars)
Métricas de merge de PR
 (Mesclagem média 5d 5h) (16 fundiu PRs em 30d)

Description

Describe the bug

I tried adding multithreading to our code, and now we see occasional pauses due to CuStreamCreate:

Could be fixed by adding a Stream pool?

To reproduce

Available on request

Expected behavior

No pauses

Version info

Not sure exactly, I think it was Julia 1.8.5 with CUDA.jl 3.13.1 and CUDA 11.2.

Once our cluster upgrades the drivers, I can rerun with CUDA 12.

Additional context

cc @lcw

Guia do colaborador

Direção de pesquisa
Investigue o mecanismo atual de alocação de fluxos no CUDA.jl, provavelmente em arquivos relacionados a fluxos CUDA. Examine como outras estruturas implementam o pool de fluxos, como no PyTorch ou TensorRT. Proponha um design para um pool de fluxos seguro para threads que pré aloque fluxos para evitar a sobrecarga de cuStreamCreate em contextos multithread.
Pilha de tecnologia
None
Domain
backend
Tipo Issue
Bug
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
JuliaCUDAGit
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
45