ggml-org/whisper.cpp

NPU support in whisper.cpp

Open

#1557 aperta il 27 nov 2023

Vedi su GitHub
 (18 commenti) (12 reazioni) (0 assegnatari)C++ (5535 fork)batch import
good first issueperformanceresearch🔬

Metriche repository

Star
 (49.693 star)
Metriche merge PR
 (Merge medio 5g 20h) (36 PR mergiate in 30 g)

Descrizione

Christmas is coming soon, and I want to take some time to research something interesting, such as edge low-power inference. Although current whisper.cpp can run on Raspberry Pi, the inference performance cannot achieve real-time transcription. Fortunately, there are now some development boards that use processors with NPUs, which can be used to achieve real-time transcription of large models. My primary goal is to first support RK3566 and RK3588.

Roadmap:

  • MatMul offloading
  • Conv-Gelu offloading
  • LayerNorm offloading ...

Reference:

https://github.com/rockchip-linux/rknpu2

Guida contributor

Direzione di ricerca
Studia le implementazioni esistenti di MatMul, Conv Gelu e LayerNorm in whisper.cpp. Quindi, esamina il toolkit RKNN di Rockchip e gli esempi di offloading NPU esistenti in altri progetti open source per capire come offloadare queste operazioni alla NPU.
Tech stack
cpp
Dominio
machine learningaiembedded iot
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Oltre 1 settimana
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
C++
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
20