ggml-org/whisper.cpp

NPU support in whisper.cpp

Open

#1 557 ouverte le 27 nov. 2023

Voir sur GitHub
 (18 commentaires) (12 réactions) (0 assignés)C++ (5 535 forks)batch import
good first issueperformanceresearch🔬

Métriques du dépôt

Stars
 (49 693 stars)
Métriques de merge PR
 (Merge moyen 5j 20h) (36 PRs mergées en 30 j)

Description

Christmas is coming soon, and I want to take some time to research something interesting, such as edge low-power inference. Although current whisper.cpp can run on Raspberry Pi, the inference performance cannot achieve real-time transcription. Fortunately, there are now some development boards that use processors with NPUs, which can be used to achieve real-time transcription of large models. My primary goal is to first support RK3566 and RK3588.

Roadmap:

  • MatMul offloading
  • Conv-Gelu offloading
  • LayerNorm offloading ...

Reference:

https://github.com/rockchip-linux/rknpu2

Guide contributeur

Direction de recherche
Étudiez les implémentations existantes de MatMul, Conv Gelu et LayerNorm dans whisper.cpp. Ensuite, examinez le kit d'outils RKNN de Rockchip et les exemples de déchargement NPU existants dans d'autres projets open source pour comprendre comment décharger ces opérations sur le NPU.
Stack technique
cpp
Domaine
machine learningaiembedded iot
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Plus d'une semaine
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
C++
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
20