JuliaGPU/CUDA.jl

Support for GPUDirectStorage

Open

#1.630 aberto em 18 de out. de 2022

Ver no GitHub
 (13 comments) (0 reactions) (0 assignees)Julia (274 forks)batch import
cuda librariesenhancementhelp wanted

Métricas do repositório

Stars
 (1.408 stars)
Métricas de merge de PR
 (Mesclagem média 5d 5h) (16 fundiu PRs em 30d)

Description

We are using compressed disk array storage (Zarr.jl [1]). In Python there is kvikIO [2], which allows loading Zarr arrays directly into GPU memory. There are two steps, one is loading a chunk of the Zarr array into memory and the second one is to decompress it.

What would it take to implement this in Julia?

@Sonicious @meggart @felixcremer

[1] https://github.com/JuliaIO/Zarr.jl [2] https://docs.rapids.ai/api/kvikio/stable/

Guia do colaborador

Direção de pesquisa
Investigue como usar o GPUDirectStorage (GDS) da CUDA para carregar chunks Zarr compactados diretamente na memória da GPU, ignorando a CPU. Veja a implementação do kvikIO em Python e adapte para o CUDA.jl e Zarr.jl do Julia.
Pilha de tecnologia
None
Domain
backenddataperformance
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
4
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
3-5 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
GitJuliaCUDAZarr.jl
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
20