Faster image pipelines · FluxML/FastAI.jl#235

(0 commenti) (0 reazioni) (0 assegnatari)Julia (49 fork)batch import

enhancementhelp wanted

Metriche repository

Some low-hanging fruit that FastAI.jl can pick to become faster here:

builtin presizing support
- prototype at https://github.com/lorenzoh/DataBlockStorage.jl/
- using JpegTurbo.jl's downsized loading so no storing to disk is needed (https://github.com/JuliaIO/JpegTurbo.jl/issues/15#issuecomment-1031548344)
use inplace operations
- DataAugmentation.jl already supports inplace operations, FastAI.jl just needs to add a buffered encode! interface and use those paths
- JpegTurbo.jl image loading could also be done inplace (https://github.com/JuliaIO/JpegTurbo.jl/issues/23)
- the whole pipeline could become non-allocating
use MLUtils.jl (#196)
- new DataLoader seems more stable and possibly a little faster
run projective transformations on GPU (https://github.com/lorenzoh/DataAugmentation.jl/issues/48)

Direzione di ricerca: Il problema delinea diversi miglioramenti delle prestazioni. Inizia esaminando il prototipo in DataBlockStorage.jl e il problema JpegTurbo.jl per il caricamento ridimensionato. Quindi esamina l'implementazione di un'interfaccia `encode!` bufferizzata per operazioni in place. Rivedi anche l'integrazione di MLUtils.jl e il supporto GPU in DataAugmentation.jl. Il repository è FastAI.jl; controlla il codice sorgente per le pipeline di immagini.
Tech stack: Nessuno
Dominio: performancemachine learning
Tipo issue: Performance
Difficoltà: 4
Tempo stimato: Oltre 1 settimana
Stato attività: Datata
Chiarezza: Chiara
Prerequisiti: Julia programmingImage processingFastAI.jl basicsJpegTurbo
Adatta ai principianti: 20