FluxML/Flux.jl

Allow BatchNorm training on CUDA with `track_stats=false`

Open

#1.606 geöffnet am 31. Mai 2021

Auf GitHub ansehen
 (4 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Julia (619 Forks)batch import
good first issuehelp wanted

Repository-Metriken

Stars
 (4.725 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 4h 27m) (2 gemergte PRs in 30 T)

Beschreibung

Gathered from https://discourse.julialang.org/t/batchnorm-only-track-stats-true-supported-on-gpu/62091.

This would most likely require changes in NNlibCUDA as well. I'm not sure how interchangeable the various cudnnBatchNormalizationForward* functions are, so putting a pin in this until someone more knowledgeable can comment.

Contributor Guide

Research-Richtung
Untersuchen Sie die BatchNorm Implementierung in Flux.jl und NNlibCUDA.jl. Verstehen Sie die cudnnBatchNormalizationForward Funktionen und ändern Sie sie, um track stats=false zu unterstützen. Testen Sie die Änderungen auf einer CUDA fähigen GPU.
Tech Stack
Keine
Domain
backendmachine learning
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
3-5 Tage
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Meist klar
Voraussetzungen
JuliaCUDAGit
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
30