FluxML/Flux.jl

Benchmark optimizer latency on GPU

Open

#1 699 ouverte le 24 août 2021

Voir sur GitHub
 (0 commentaires) (0 réactions) (0 assignés)Julia (619 forks)batch import
cudahelp wantedperformance

Métriques du dépôt

Stars
 (4 725 stars)
Métriques de merge PR
 (Merge moyen 4h 27m) (2 PRs mergées en 30 j)

Description

Ref. https://github.com/JuliaGPU/GPUCompiler.jl/issues/65#issuecomment-903155469. We should do this for both the current mutating optimizers and for Optimisers.jl. It may be that TTFG is only part of the problem.

Guide contributeur

Direction de recherche
Commencez par lire le commentaire lié dans GPUCompiler.jl (issue #65). Étudiez les optimiseurs mutables actuels dans Flux et comparez les avec Optimisers.jl. L'objectif est de mesurer la latence sur GPU, éventuellement en utilisant des outils de benchmarking comme BenchmarkTools.jl. Prenez en compte à la fois le temps jusqu'au premier gradient (time to first gradient) et les performances globales d'itération.
Stack technique
Aucun
Domaine
machine learningperformance
Type d'issue
Performance
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
4
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
3-5 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Ancienne
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Investigation requise
Prérequis
JuliaGPU programmingFluxbenchmarking
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
15