ggml-org/llama.cpp

ggml : add WebGPU backend

Closed

#7,773 opened on 2024年6月5日

GitHub で見る
 (28 comments) (23 reactions) (0 assignees)C++ (110,169 stars) (18,202 forks)batch import
help wantedresearch 🔬roadmap

説明

I hope that this would be relatively easy to do since AFAIK WebGPU allows us to write kernels in a shader language, so we have experience how to create such backends.

There has been some initial work in https://github.com/ggerganov/ggml/pull/585 - could be useful as a starting point

コントリビューターガイド

技術スタック
領域
Issue 種別
難度新しい貢献者にとっての実装難度です。1 は非常に小さな変更、5 は専門的な作業です。
推定時間経験ある貢献者が調査、実装、テスト、pull request 準備にかけるおおよその時間範囲です。
活動状況Issue が今どれだけ取り組みやすいかを示します。新しい、活発、古い、ブロック中、またはメンテナー入力待ちなどです。
明確さ期待される変更、受け入れ条件、次の手順がどれだけ明確かを示します。
前提条件
初心者向け度初回貢献者にどれだけ取り組みやすいかを 1-100 で推定したスコアです。
調査方針
ggml : add WebGPU backend · ggml-org/llama.cpp#7773 | Good First Issue