ggml-org/llama.cpp

Support CoreML like whisper.cpp?

Open

#1.714 aberto em 6 de jun. de 2023

Ver no GitHub
 (11 comments) (17 reactions) (0 assignees)C++ (18.202 forks)batch import
help wantedmacosperformance

Métricas do repositório

Stars
 (110.169 stars)
Métricas de merge de PR
 (Mesclagem média 6d 8h) (389 fundiu PRs em 30d)

Description

I have tried whisper.cpp on my iPhone and it runs very fast , so I wonder if it is possible that llama.cpp could support it. thank you .

Guia do colaborador

Direção de pesquisa
Estude como o whisper.cpp integrou o suporte CoreML, especialmente a conversão do modelo e o pipeline de inferência. Em seguida, identifique componentes análogos no llama.cpp para replicar a integração.
Pilha de tecnologia
None
Domain
backendmobile
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
C++CoreMLwhisper.cpp
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
40