ggml-org/llama.cpp

ggml : add ANE backend

Aperta

#10.453 aperta il 22 nov 2024

Vedi su GitHubGuida contributor
 (21 commenti) (85 reazioni) (0 assegnatari)C++ (21.737 fork)batch import
help wantedresearch 🔬roadmap

Metriche repository

Star
 (124.043 stelle)
Metriche merge PR
 (Merge medio 6g 8h) (389 PR mergiate in 30 g)

Descrizione

According to this https://github.com/ggerganov/llama.cpp/discussions/336#discussioncomment-11184134, there is a new CoreML API and an ANE backend might be possible to implement with latest Apple software/hardware.

Guida contributor

Direzione di ricerca
Rivedi il commento di discussione referenziato e la documentazione CoreML di Apple. Indaga il backend Metal esistente in ggml per i modelli di integrazione. Esplora le funzionalità ANE tramite CoreML Performance Shaders. Identifica le chiamate API necessarie e i passaggi di conversione del modello per ggml.
Tech stack
ccpp
Dominio
backendmachine learning
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
4
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Oltre 1 settimana
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
CoreMLC++Apple hardware
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
30