ggml-org/llama.cpp

ggml : add ANE backend

Ouverte

#10 453 ouverte le 22 nov. 2024

Voir sur GitHubGuide contributeur
 (21 commentaires) (85 réactions) (0 personne assignée)C++ (21 822 forks)batch import
help wantedresearch 🔬roadmap

Métriques du dépôt

Stars
 (124 374 étoiles)
Métriques de merge PR
 (Merge moyen 6j 8h) (389 PRs mergées en 30 j)

Description

According to this https://github.com/ggerganov/llama.cpp/discussions/336#discussioncomment-11184134, there is a new CoreML API and an ANE backend might be possible to implement with latest Apple software/hardware.

Guide contributeur

Direction de recherche
Examinez le commentaire de discussion référencé et la documentation CoreML d'Apple. Étudiez le backend Metal existant dans ggml pour les modèles d'intégration. Explorez les capacités de l'ANE via CoreML Performance Shaders. Identifiez les appels d'API requis et les étapes de conversion de modèle pour ggml.
Stack technique
ccpp
Domaine
backendmachine learning
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
4
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Plus d'une semaine
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
CoreMLC++Apple hardware
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
30