ggml-org/llama.cpp

ggml : add DirectML backend

Open

#7772 aperta il 5 giu 2024

Vedi su GitHub
 (20 commenti) (40 reazioni) (0 assegnatari)C++ (18.202 fork)batch import
help wantedresearch 🔬roadmap

Metriche repository

Star
 (110.169 star)
Metriche merge PR
 (Merge medio 6g 8h) (389 PR mergiate in 30 g)

Descrizione

It seems like DirectML supports the upcoming NPU-enabled chips for Windows machines: https://devblogs.microsoft.com/directx/introducing-neural-processor-unit-npu-support-in-directml-developer-preview/

I don't think there is any other way to tap into this hardware, so we should explore if it possible to add this library as a backend in ggml in order to run stuff on the NPUs. There has been some semi-related work in the past that combined ggml and Direct3D: https://github.com/Const-me/Whisper. Not sure if it is relevant at all, maybe just as an inspiration

Guida contributor

Direzione di ricerca
Studiare DirectML SDK e l'integrazione Direct3D esistente in ggml (Const me/Whisper) per progettare un'architettura backend.
Tech stack
cpp
Dominio
backendai
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
4
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Oltre 1 settimana
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
C++Machine Learning
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
20