FluxML/Flux.jl

Allow BatchNorm training on CUDA with `track_stats=false`

Open

#1606 aperta il 31 mag 2021

Vedi su GitHub
 (4 commenti) (0 reazioni) (0 assegnatari)Julia (619 fork)batch import
good first issuehelp wanted

Metriche repository

Star
 (4725 star)
Metriche merge PR
 (Merge medio 4h 27m) (2 PR mergiate in 30 g)

Descrizione

Gathered from https://discourse.julialang.org/t/batchnorm-only-track-stats-true-supported-on-gpu/62091.

This would most likely require changes in NNlibCUDA as well. I'm not sure how interchangeable the various cudnnBatchNormalizationForward* functions are, so putting a pin in this until someone more knowledgeable can comment.

Guida contributor

Direzione di ricerca
Esamina l'implementazione di BatchNorm in Flux.jl e NNlibCUDA.jl. Comprendi le funzioni cudnnBatchNormalizationForward e modificale per supportare track stats=false. Testa le modifiche su una GPU abilitata CUDA.
Tech stack
Nessuno
Dominio
backendmachine learning
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
3-5 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
JuliaCUDAGit
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
30