ggml-org/llama.cpp

ggml : add WebGPU backend

Fechada

#7.773 aberto em 5 de jun. de 2024

Ver no GitHubGuia do colaborador
 (28 comentários) (23 reações) (0 responsável)C++ (21.822 forks)batch import
help wantedresearch 🔬roadmap

Métricas do repositório

Stars
 (124.374 estrelas)
Métricas de merge de PR
 (Mesclagem média 6d 8h) (389 fundiu PRs em 30d)

Description

I hope that this would be relatively easy to do since AFAIK WebGPU allows us to write kernels in a shader language, so we have experience how to create such backends.

There has been some initial work in https://github.com/ggerganov/ggml/pull/585 - could be useful as a starting point

Guia do colaborador

Direção de pesquisa
Pilha de tecnologia
Domain
Tipo Issue
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Prerequisites
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.