ggml-org/whisper.cpp

NPU support in whisper.cpp

Open

#1.557 geöffnet am 27. Nov. 2023

Auf GitHub ansehen
 (18 Kommentare) (12 Reaktionen) (0 zugewiesene Personen)C++ (5.535 Forks)batch import
good first issueperformanceresearch🔬

Repository-Metriken

Stars
 (49.693 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 5T 20h) (36 gemergte PRs in 30 T)

Beschreibung

Christmas is coming soon, and I want to take some time to research something interesting, such as edge low-power inference. Although current whisper.cpp can run on Raspberry Pi, the inference performance cannot achieve real-time transcription. Fortunately, there are now some development boards that use processors with NPUs, which can be used to achieve real-time transcription of large models. My primary goal is to first support RK3566 and RK3588.

Roadmap:

  • MatMul offloading
  • Conv-Gelu offloading
  • LayerNorm offloading ...

Reference:

https://github.com/rockchip-linux/rknpu2

Contributor Guide

Research-Richtung
Studieren Sie die vorhandenen Implementierungen von MatMul, Conv Gelu und LayerNorm in whisper.cpp. Sehen Sie sich dann das RKNN Toolkit von Rockchip und vorhandene NPU Offloading Beispiele in anderen Open Source Projekten an, um zu verstehen, wie diese Operationen auf die NPU ausgelagert werden können.
Tech Stack
cpp
Domain
machine learningaiembedded iot
Issue Type
Funktion
SchwierigkeitGeschĂ€tzte Implementierungsschwierigkeit fĂŒr neue Contributors, von 1 fĂŒr sehr kleine Änderungen bis 5 fĂŒr Expertenarbeit.
3
GeschÀtzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Über 1 Woche
AktivitĂ€tsstatusWie verfĂŒgbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nĂ€chsten Schritt erklĂ€rt.
Klar
Voraussetzungen
C++
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schĂ€tzt, wie zugĂ€nglich dieses Issue fĂŒr First-Time Contributors ist.
20