FluxML/Flux.jl

Benchmark optimizer latency on GPU

Open

#1.699 aberto em 24 de ago. de 2021

Ver no GitHub
 (0 comments) (0 reactions) (0 assignees)Julia (619 forks)batch import
cudahelp wantedperformance

Métricas do repositório

Stars
 (4.725 stars)
Métricas de merge de PR
 (Mesclagem média 4h 27m) (2 fundiu PRs em 30d)

Description

Ref. https://github.com/JuliaGPU/GPUCompiler.jl/issues/65#issuecomment-903155469. We should do this for both the current mutating optimizers and for Optimisers.jl. It may be that TTFG is only part of the problem.

Guia do colaborador

Direção de pesquisa
Comece lendo o comentário vinculado no GPUCompiler.jl (issue #65). Investigue os otimizadores mutantes atuais no Flux e compare com o Optimisers.jl. O objetivo é medir a latência na GPU, possivelmente usando ferramentas de benchmark como BenchmarkTools.jl. Considere tanto o tempo para o primeiro gradiente (time to first gradient) quanto o desempenho geral da iteração.
Pilha de tecnologia
None
Domain
machine learningperformance
Tipo Issue
Performance
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
4
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
3-5 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Antigo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Precisa de investigação
Prerequisites
JuliaGPU programmingFluxbenchmarking
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
15