ggml-org/llama.cpp

Support for Sparse MoE models like Camelidae and Sparsetral

Open

#5365 aperta il 6 feb 2024

Vedi su GitHub
 (6 commenti) (35 reazioni) (0 assegnatari)C++ (18.202 fork)batch import
enhancementgood first issue

Metriche repository

Star
 (110.169 star)
Metriche merge PR
 (Merge medio 6g 8h) (389 PR mergiate in 30 g)

Descrizione

A new technique for broadening the capabilities of LLMs without massively increasing resource requirements has recently emerged. Instead of shuffling tokens in between expert models like a standard MoE, it shuffles them between expert LoRAs. This gives much of the benefit of a MoE, but with very low memory and compute requirements above what is needed by the base model. Please consider adding support for inferencing and quantizing these sparse MoEs, as they are a very promising branch of LLMs that can be not only inferenced but fully trained on attainable consumer hardware.

Camelidae on HF: https://huggingface.co/hywu

Sparsetral on HF:https://huggingface.co/serpdotai/sparsetral-16x7B-v2

Guida contributor

Direzione di ricerca
Indaga l'implementazione MoE esistente in llama.cpp (ad esempio, nei file llama.h e llama.cpp). Studia i paper su MoE sparsi per Camelidae e Sparsetral citati nell'issue. Esplora come implementare il routing tramite LoRA esperti invece di esperti MLP standard. Considera i compromessi tra memoria e calcolo. Esamina i repository Hugging Face collegati per i dettagli dell'architettura del modello.
Tech stack
ccpp
Dominio
backend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
4
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
3-5 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
C++Machine Learning
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
30