ggml-org/llama.cpp

ggml : add GPU support for Mamba models

Open

#6758 aperta il 19 apr 2024

Vedi su GitHub
 (39 commenti) (32 reazioni) (0 assegnatari)C++ (18.202 fork)batch import
Nvidia GPUenhancementhelp wantedroadmap

Metriche repository

Star
 (110.169 star)
Metriche merge PR
 (Merge medio 6g 8h) (389 PR mergiate in 30 g)

Descrizione

Recently, initial Mamba support (CPU-only) has been introduced in #5328 by @compilade

In order to support running these models efficiently on the GPU, we seem to be lacking kernel implementations for the following 2 ops:

  • GGML_OP_SSM_CONV
  • GGML_OP_SSM_SCAN

Creating this issue to keep track of this and give more visibility of this feature. Help with implementing the missing kernels for CUDA and Metal (and other backends potentially) is welcome. We can also discuss if anything else is required to better support this architecture in llama.cpp

Guida contributor

Direzione di ricerca
Studia le implementazioni CPU esistenti di GGML OP SSM CONV e GGML OP SSM SCAN nel codice sorgente, quindi implementa kernel CUDA equivalenti (e Metal se possibile). Fai riferimento a implementazioni di kernel GPU simili nel repository per i pattern.
Tech stack
cpp
Dominio
backend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
4
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
3-5 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
C++GPU programming
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
20