Faster image pipelines · FluxML/FastAI.jl#235

(0 commentaires) (0 réactions) (0 assignés)Julia (49 forks)batch import

enhancementhelp wanted

Métriques du dépôt

Some low-hanging fruit that FastAI.jl can pick to become faster here:

builtin presizing support
- prototype at https://github.com/lorenzoh/DataBlockStorage.jl/
- using JpegTurbo.jl's downsized loading so no storing to disk is needed (https://github.com/JuliaIO/JpegTurbo.jl/issues/15#issuecomment-1031548344)
use inplace operations
- DataAugmentation.jl already supports inplace operations, FastAI.jl just needs to add a buffered encode! interface and use those paths
- JpegTurbo.jl image loading could also be done inplace (https://github.com/JuliaIO/JpegTurbo.jl/issues/23)
- the whole pipeline could become non-allocating
use MLUtils.jl (#196)
- new DataLoader seems more stable and possibly a little faster
run projective transformations on GPU (https://github.com/lorenzoh/DataAugmentation.jl/issues/48)

Direction de recherche: Le problème décrit plusieurs améliorations de performances. Commencez par examiner le prototype dans DataBlockStorage.jl et le problème JpegTurbo.jl pour le chargement redimensionné. Ensuite, examinez la mise en œuvre d'une interface `encode!` tamponnée pour les opérations en place. Passez également en revue l'intégration de MLUtils.jl et la prise en charge GPU dans DataAugmentation.jl. Le dépôt est FastAI.jl ; vérifiez le code source pour les pipelines d'images.
Stack technique: Aucun
Domaine: performancemachine learning
Type d'issue: Performance
Difficulté: 4
Temps estimé: Plus d'une semaine
Statut d'activité: Ancienne
Clarté: Claire
Prérequis: Julia programmingImage processingFastAI.jl basicsJpegTurbo
Accessibilité débutant: 20