ggml-org/llama.cpp

llama : refactor the llm.build_xxx functions

Chiusa

#5239 aperta il 31 gen 2024

Vedi su GitHubGuida contributor
 (3 commenti) (3 reazioni) (0 assegnatari)C++ (21.764 fork)batch import
good first issuerefactoringroadmap

Metriche repository

Star
 (124.134 stelle)
Metriche merge PR
 (Merge medio 6g 8h) (389 PR mergiate in 30 g)

Descrizione

Now that we support a large amount of architectures, we can clearly see the patterns when constructing the compute graphs - i.e. optional biases, different norm types, QKV vs Q+K+V, etc.

We should deduplicate the copy-paste portions in functions such as llm.build_llama(), llm.build_falcon(), etc.

The advantage of the current code is that it is easy to look into the graph of a specific architecture. When we refactor this, we will lose this convenience to some extend. So we should think about making this refactoring in such a way that we don't completely obscure which parts of the graph belong to which architectures

Open for ideas and suggestions how to do this best

Guida contributor

Direzione di ricerca
Esamina le funzioni esistenti llm.build llama(), llm.build falcon() e simili nella codebase di llama.cpp per identificare pattern comuni come bias opzionali, diversi tipi di normalizzazione e QKV rispetto a Q+K+V. Proponi un approccio di refactoring generalizzato che riduca la duplicazione mantenendo la capacità di ispezionare i singoli grafi dell'architettura. Considera l'uso di un design guidato dalla configurazione o metodi template per incapsulare le differenze.
Tech stack
cpp
Dominio
backendmachine learning
Tipo issue
Refactoring
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
3-5 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
C++LLM architecture knowledge
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
30