Rust-GPU/rust-cuda

Suggestion: WASI-NN CUDA

Open

#139 aperta il 2 feb 2025

Vedi su GitHub
 (0 commenti) (1 reazione) (0 assegnatari)Rust (240 fork)auto 404
enhancementhelp wanted

Metriche repository

Star
 (5261 star)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

A feature request; Implement the WASI-NN interface for CUDA so any WASM32-WASI [p1, p2 and future p3] runtime which wants a neural networking CUDA host can depend on a super efficient Rust implementation without needing to download a Docker image with gigabytes of other code.

Why? At the moment running AI code requires a Docker image with Python and CUDA which easily goes between 5GB o 15GB which for a serverless or edge use case is ridiculous.

Guida contributor

Direzione di ricerca
Studiare la specifica WASI NN e le implementazioni esistenti, quindi progettare un backend CUDA in Rust.
Tech stack
rust
Dominio
ai
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
3-5 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
RustCUDA programming
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
30