ggml-org/llama.cpp

Support CoreML like whisper.cpp?

Open

#1714 aperta il 6 giu 2023

Vedi su GitHub
 (11 commenti) (17 reazioni) (0 assegnatari)C++ (18.202 fork)batch import
help wantedmacosperformance

Metriche repository

Star
 (110.169 star)
Metriche merge PR
 (Merge medio 6g 8h) (389 PR mergiate in 30 g)

Descrizione

I have tried whisper.cpp on my iPhone and it runs very fast , so I wonder if it is possible that llama.cpp could support it. thank you .

Guida contributor

Direzione di ricerca
Studia come whisper.cpp ha integrato il supporto CoreML, in particolare la conversione del modello e la pipeline di inferenza. Quindi identifica componenti analoghe in llama.cpp per replicare l'integrazione.
Tech stack
Nessuno
Dominio
backendmobile
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
C++CoreMLwhisper.cpp
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
40