Rust-GPU/rust-cuda

Suggestion: WASI-NN CUDA

Open

#139 aberto em 2 de fev. de 2025

Ver no GitHub
 (0 comments) (1 reaction) (0 assignees)Rust (240 forks)auto 404
enhancementhelp wanted

Métricas do repositório

Stars
 (5.261 stars)
Métricas de merge de PR
 (Métricas PR pendentes)

Description

A feature request; Implement the WASI-NN interface for CUDA so any WASM32-WASI [p1, p2 and future p3] runtime which wants a neural networking CUDA host can depend on a super efficient Rust implementation without needing to download a Docker image with gigabytes of other code.

Why? At the moment running AI code requires a Docker image with Python and CUDA which easily goes between 5GB o 15GB which for a serverless or edge use case is ridiculous.

Guia do colaborador

Direção de pesquisa
Estude a especificação WASI NN e as implementações existentes, depois projete um backend CUDA em Rust.
Pilha de tecnologia
rust
Domain
ai
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
3-5 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
RustCUDA programming
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
30