ggml-org/llama.cpp

ggml : add ANE backend

Aberta

#10.453 aberto em 22 de nov. de 2024

Ver no GitHubGuia do colaborador
 (21 comentários) (85 reações) (0 responsável)C++ (21.737 forks)batch import
help wantedresearch 🔬roadmap

Métricas do repositório

Stars
 (124.043 estrelas)
Métricas de merge de PR
 (Mesclagem média 6d 8h) (389 fundiu PRs em 30d)

Description

According to this https://github.com/ggerganov/llama.cpp/discussions/336#discussioncomment-11184134, there is a new CoreML API and an ANE backend might be possible to implement with latest Apple software/hardware.

Guia do colaborador

Direção de pesquisa
Revise o comentário de discussão referenciado e a documentação do CoreML da Apple. Investigue o backend Metal existente no ggml para padrões de integração. Explore os recursos do ANE por meio dos CoreML Performance Shaders. Identifique as chamadas de API necessárias e as etapas de conversão de modelo para o ggml.
Pilha de tecnologia
ccpp
Domain
backendmachine learning
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
4
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Mais de 1 semana
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Principalmente claro
Prerequisites
CoreMLC++Apple hardware
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
30