Faster image pipelines · FluxML/FastAI.jl#235

(0 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Julia (49 Forks)batch import

enhancementhelp wanted

Repository-Metriken

Some low-hanging fruit that FastAI.jl can pick to become faster here:

builtin presizing support
- prototype at https://github.com/lorenzoh/DataBlockStorage.jl/
- using JpegTurbo.jl's downsized loading so no storing to disk is needed (https://github.com/JuliaIO/JpegTurbo.jl/issues/15#issuecomment-1031548344)
use inplace operations
- DataAugmentation.jl already supports inplace operations, FastAI.jl just needs to add a buffered encode! interface and use those paths
- JpegTurbo.jl image loading could also be done inplace (https://github.com/JuliaIO/JpegTurbo.jl/issues/23)
- the whole pipeline could become non-allocating
use MLUtils.jl (#196)
- new DataLoader seems more stable and possibly a little faster
run projective transformations on GPU (https://github.com/lorenzoh/DataAugmentation.jl/issues/48)

Research-Richtung: Das Issue skizziert mehrere Leistungsverbesserungen. Beginnen Sie mit der Untersuchung des Prototyps in DataBlockStorage.jl und des JpegTurbo.jl Issues für verkleinertes Laden. Schauen Sie sich dann die Implementierung einer gepufferten `encode!` Schnittstelle für In Place Operationen an. Überprüfen Sie außerdem die MLUtils.jl Integration und die GPU Unterstützung in DataAugmentation.jl. Das Repository ist FastAI.jl; überprüfen Sie den Quellcode auf Bild Pipelines.
Tech Stack: Keine
Domain: performancemachine learning
Issue Type: Performance
Schwierigkeit: 4
Geschätzte Zeit: Über 1 Woche
Aktivitätsstatus: Veraltet
Klarheit: Klar
Voraussetzungen: Julia programmingImage processingFastAI.jl basicsJpegTurbo
Einsteigerfreundlichkeit: 20