ggml-org/llama.cpp

ggml : add WebGPU backend

Chiusa

#7773 aperta il 5 giu 2024

Vedi su GitHubGuida contributor
 (28 commenti) (23 reazioni) (0 assegnatari)C++ (21.786 fork)batch import
help wantedresearch 🔬roadmap

Metriche repository

Star
 (124.222 stelle)
Metriche merge PR
 (Merge medio 6g 8h) (389 PR mergiate in 30 g)

Descrizione

I hope that this would be relatively easy to do since AFAIK WebGPU allows us to write kernels in a shader language, so we have experience how to create such backends.

There has been some initial work in https://github.com/ggerganov/ggml/pull/585 - could be useful as a starting point

Guida contributor

Direzione di ricerca
Tech stack
Dominio
Tipo issue
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Prerequisiti
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.