JuliaGPU/CUDA.jl

Consider maximizing grid utilization

Open

#1.321 aberto em 13 de jan. de 2022

Ver no GitHub
 (1 comment) (0 reactions) (0 assignees)Julia (274 forks)batch import
good first issueperformance

Métricas do repositório

Stars
 (1.408 stars)
Métricas de merge de PR
 (Mesclagem média 5d 5h) (16 fundiu PRs em 30d)

Description

We currently maximize block utilization (taking the max threads), which may leave SMs underutilized. We should consider first selecting an optimal amount of blocks, before maximizing the thread could:

    config = launch_configuration(kernel.fun)
    threads = min(length(ps), config.threads)
    # XXX: this kernel performs much better with all blocks active
    blocks = max(cld(length(ps), threads), config.blocks)
    threads = cld(length(ps), blocks)

I'm sure this will lead to some kernels performing worse, though, but it's probably a good thing to test.

Guia do colaborador

Direção de pesquisa
Investigar a função launch configuration no arquivo kernel.jl para entender a estratégia atual de utilização de blocos. Testar a alteração de código proposta em uma variedade de exemplos de kernel para comparar o desempenho. Medir o impacto em diferentes arquiteturas de GPU e determinar se a alteração é benéfica no geral.
Pilha de tecnologia
None
Domain
performancebackend
Tipo Issue
Performance
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
Julia
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
45