ggml-org/llama.cpp

Support CoreML like whisper.cpp?

Open

#1 714 ouverte le 6 juin 2023

Voir sur GitHub
 (11 commentaires) (17 réactions) (0 assignés)C++ (18 202 forks)batch import
help wantedmacosperformance

Métriques du dépôt

Stars
 (110 169 stars)
Métriques de merge PR
 (Merge moyen 6j 8h) (389 PRs mergées en 30 j)

Description

I have tried whisper.cpp on my iPhone and it runs very fast , so I wonder if it is possible that llama.cpp could support it. thank you .

Guide contributeur

Direction de recherche
Étudiez comment whisper.cpp a intégré la prise en charge de CoreML, en particulier la conversion de modèle et le pipeline d'inférence. Identifiez ensuite des composants analogues dans llama.cpp pour reproduire l'intégration.
Stack technique
Aucun
Domaine
backendmobile
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
C++CoreMLwhisper.cpp
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
40