huggingface/ratchet

Shared Array Buffer 🪄

Aperta

#79 aperta il 13 feb 2024

Vedi su GitHubGuida contributor
 (0 commenti) (1 reazione) (0 assegnatari)Rust (44 fork)auto 404
help wanted

Metriche repository

Star
 (768 stelle)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

When we pull the model from the wire, we should write it into a shared array buffer: https://rustwasm.github.io/wasm-bindgen/examples/raytrace.html

This will reduce memory usage, ideally peak memory usage should be ~model size. Loading will require some magic.

Guida contributor

Direzione di ricerca
Implementa il caricamento del modello in un SharedArrayBuffer per ridurre il picco di utilizzo della memoria. Studia l'esempio di raytracing wasm bindgen fornito per i pattern. Dovrai modificare la deserializzazione del modello per memorizzare i byte in un SharedArrayBuffer e garantire la sicurezza della memoria in Rust.
Tech stack
rustwasm
Dominio
web devmachine learning
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Nuova
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
RustWebAssemblywasm bindgen
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
30