huggingface/ratchet

Shared Array Buffer 🪄

開放

#79 建立於 2024年2月13日

 (0 則留言) (1 個反應) (0 位負責人)Rust (44 個分叉)auto 404
help wanted

倉庫指標

星標
 (768 顆星)
PR 合併指標
 (30 天內沒有已合併 PR)

描述

When we pull the model from the wire, we should write it into a shared array buffer: https://rustwasm.github.io/wasm-bindgen/examples/raytrace.html

This will reduce memory usage, ideally peak memory usage should be ~model size. Loading will require some magic.

貢獻者指南