FluxML/Flux.jl

Allow BatchNorm training on CUDA with `track_stats=false`

Open

#1,606 建立於 2021年5月31日

在 GitHub 查看
 (4 留言) (0 反應) (0 負責人)Julia (4,725 star) (619 fork)batch import
good first issuehelp wanted

描述

Gathered from https://discourse.julialang.org/t/batchnorm-only-track-stats-true-supported-on-gpu/62091.

This would most likely require changes in NNlibCUDA as well. I'm not sure how interchangeable the various cudnnBatchNormalizationForward* functions are, so putting a pin in this until someone more knowledgeable can comment.

貢獻者指南

技術棧
無
領域
machine learning
議題類型
feature
難度面向新貢獻者的預計實作難度，1 表示很小改動，5 表示專家級工作。
4
預計時間有經驗貢獻者完成調查、實作、測試並準備 pull request 的粗略時間範圍。
over 1 week
活動狀態議題目前的可參與程度：新鮮、活躍、陳舊、阻塞或等待維護者輸入。
stale
清晰度議題是否清楚說明預期改動、驗收標準和下一步。
mostly clear
前置要求
JuliaFlux.jlCUDACuDNN
新手友善度1-100 的估計分數，表示該議題對首次貢獻者的友善程度。
15
研究方向
Review the discourse thread linked for context on the request. Investigate the CuDNN API to determine if there is a way to perform batch normalization training without updating running statistics (i.e., track stats=false). Then identify the necessary changes in NNlibCUDA and Flux.jl to expose this option. Check for any existing work or discussions in the linked repository forks or related issues.