ggml-org/llama.cpp

ggml : add ANE backend

Open

#10 453 ouverte le 22 nov. 2024

Voir sur GitHub
 (21 commentaires) (84 réactions) (0 assignés)C++ (18 202 forks)batch import
help wantedresearch 🔬roadmap

Métriques du dépôt

Stars
 (110 169 stars)
Métriques de merge PR
 (Merge moyen 5j 11h) (457 PRs mergées en 30 j)

Description

According to this https://github.com/ggerganov/llama.cpp/discussions/336#discussioncomment-11184134, there is a new CoreML API and an ANE backend might be possible to implement with latest Apple software/hardware.

Guide contributeur

Direction de recherche
Examinez le commentaire de discussion référencé et la documentation CoreML d'Apple. Étudiez le backend Metal existant dans ggml pour les modèles d'intégration. Explorez les capacités de l'ANE via CoreML Performance Shaders. Identifiez les appels d'API requis et les étapes de conversion de modèle pour ggml.
Stack technique
ccpp
Domaine
backendmachine learning
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
4
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Plus d'une semaine
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
CoreMLC++Apple hardware
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
30