FluxML/Flux.jl

Benchmark optimizer latency on GPU

Open

#1699 aperta il 24 ago 2021

Vedi su GitHub
 (0 commenti) (0 reazioni) (0 assegnatari)Julia (619 fork)batch import
cudahelp wantedperformance

Metriche repository

Star
 (4725 star)
Metriche merge PR
 (Merge medio 4h 27m) (2 PR mergiate in 30 g)

Descrizione

Ref. https://github.com/JuliaGPU/GPUCompiler.jl/issues/65#issuecomment-903155469. We should do this for both the current mutating optimizers and for Optimisers.jl. It may be that TTFG is only part of the problem.

Guida contributor

Direzione di ricerca
Inizia leggendo il commento collegato in GPUCompiler.jl (issue #65). Indaga gli attuali ottimizzatori mutanti in Flux e confrontali con Optimisers.jl. L'obiettivo è misurare la latenza sulla GPU, possibilmente utilizzando strumenti di benchmarking come BenchmarkTools.jl. Considera sia il tempo per il primo gradiente (time to first gradient) che le prestazioni complessive dell'iterazione.
Tech stack
Nessuno
Dominio
machine learningperformance
Tipo issue
Performance
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
4
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
3-5 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Datata
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Richiede indagine
Prerequisiti
JuliaGPU programmingFluxbenchmarking
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
15