JuliaGPU/CUDA.jl

Support for GPUDirectStorage

Open

#1630 aperta il 18 ott 2022

Vedi su GitHub
 (13 commenti) (0 reazioni) (0 assegnatari)Julia (274 fork)batch import
cuda librariesenhancementhelp wanted

Metriche repository

Star
 (1408 star)
Metriche merge PR
 (Merge medio 5g 5h) (16 PR mergiate in 30 g)

Descrizione

We are using compressed disk array storage (Zarr.jl [1]). In Python there is kvikIO [2], which allows loading Zarr arrays directly into GPU memory. There are two steps, one is loading a chunk of the Zarr array into memory and the second one is to decompress it.

What would it take to implement this in Julia?

@Sonicious @meggart @felixcremer

[1] https://github.com/JuliaIO/Zarr.jl [2] https://docs.rapids.ai/api/kvikio/stable/

Guida contributor

Direzione di ricerca
Studiare come utilizzare GPUDirectStorage (GDS) di CUDA per caricare blocchi Zarr compressi direttamente nella memoria della GPU, bypassando la CPU. Guardare l'implementazione di kvikIO in Python e adattarla a CUDA.jl e Zarr.jl di Julia.
Tech stack
Nessuno
Dominio
backenddataperformance
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
4
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
3-5 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
GitJuliaCUDAZarr.jl
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
20