Faster image pipelines · FluxML/FastAI.jl

(0 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Julia (49 Forks)batch import

enhancementhelp wanted

Repository-Metriken

Some low-hanging fruit that FastAI.jl can pick to become faster here:

builtin presizing support
- prototype at https://github.com/lorenzoh/DataBlockStorage.jl/
- using JpegTurbo.jl's downsized loading so no storing to disk is needed (https://github.com/JuliaIO/JpegTurbo.jl/issues/15#issuecomment-1031548344)
use inplace operations
- DataAugmentation.jl already supports inplace operations, FastAI.jl just needs to add a buffered encode! interface and use those paths
- JpegTurbo.jl image loading could also be done inplace (https://github.com/JuliaIO/JpegTurbo.jl/issues/23)
- the whole pipeline could become non-allocating
use MLUtils.jl (#196)
- new DataLoader seems more stable and possibly a little faster
run projective transformations on GPU (https://github.com/lorenzoh/DataAugmentation.jl/issues/48)

Research-Richtung: Konzentrieren Sie sich auf die Implementierung der Presizing Unterstützung mit dem verkleinerten Laden von JpegTurbo.jl, folgen Sie dem Prototyp in DataBlockStorage.jl. Testen Sie die Integration und messen Sie die Geschwindigkeitsverbesserungen.
Tech Stack: julia
Domain: machine learning
Issue Type: Performance
Schwierigkeit: 2
Geschätzte Zeit: Halber Tag
Aktivitätsstatus: Frisch
Klarheit: Klar
Voraussetzungen: JuliaGitFastAI.jl
Einsteigerfreundlichkeit: 70