ggml-org/llama.cpp

ggml : add ANE backend

Open

Aperta il 22 nov 2024

Vedi su GitHub
 (21 commenti) (84 reazioni) (0 assegnatari)C++ (110.169 star) (18.202 fork)batch import
help wantedresearch 🔬roadmap

Descrizione

According to this https://github.com/ggerganov/llama.cpp/discussions/336#discussioncomment-11184134, there is a new CoreML API and an ANE backend might be possible to implement with latest Apple software/hardware.

Guida contributor

Tech stack
ccpp
Dominio
backendmachine learning
Tipo issue
feature
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
4
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
over 1 week
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
active
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
mostly clear
Prerequisiti
CoreMLC++Apple hardware
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
30
Direzione di ricerca
Rivedi il commento di discussione referenziato e la documentazione CoreML di Apple. Indaga il backend Metal esistente in ggml per i modelli di integrazione. Esplora le funzionalità ANE tramite CoreML Performance Shaders. Identifica le chiamate API necessarie e i passaggi di conversione del modello per ggml.