ggml-org/llama.cpp

ggml : add ANE backend

Open

#10.453 aberto em 22 de nov. de 2024

Ver no GitHub
 (21 comments) (84 reactions) (0 assignees)C++ (110.169 stars) (18.202 forks)batch import
help wantedresearch 🔬roadmap

Description

According to this https://github.com/ggerganov/llama.cpp/discussions/336#discussioncomment-11184134, there is a new CoreML API and an ANE backend might be possible to implement with latest Apple software/hardware.

Guia do colaborador

Pilha de tecnologia
cpp
Domain
backendmachine learningperformance
Tipo Issue
feature
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
5
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
over 1 week
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
active
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
mostly clear
Prerequisites
C++ggmlCoreMLApple Neural Engine
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
5
Direção de pesquisa
Review the referenced discussion comment and Apple's CoreML documentation. Investigate the existing Metal backend in ggml for integration patterns. Explore the ANE capabilities via CoreML Performance Shaders. Identify required API calls and model conversion steps for ggml.