ggml-org/llama.cpp

llama : refactor the llm.build_xxx functions

Fermée

#5 239 ouverte le 31 janv. 2024

Voir sur GitHubGuide contributeur
 (3 commentaires) (3 réactions) (0 personne assignée)C++ (21 737 forks)batch import
good first issuerefactoringroadmap

Métriques du dépôt

Stars
 (124 043 étoiles)
Métriques de merge PR
 (Merge moyen 6j 8h) (389 PRs mergées en 30 j)

Description

Now that we support a large amount of architectures, we can clearly see the patterns when constructing the compute graphs - i.e. optional biases, different norm types, QKV vs Q+K+V, etc.

We should deduplicate the copy-paste portions in functions such as llm.build_llama(), llm.build_falcon(), etc.

The advantage of the current code is that it is easy to look into the graph of a specific architecture. When we refactor this, we will lose this convenience to some extend. So we should think about making this refactoring in such a way that we don't completely obscure which parts of the graph belong to which architectures

Open for ideas and suggestions how to do this best

Guide contributeur

Direction de recherche
Examinez les fonctions existantes llm.build llama(), llm.build falcon() et similaires dans la base de code de llama.cpp pour identifier des motifs courants tels que les biais optionnels, les différents types de normalisation et QKV par rapport à Q+K+V. Proposez une approche de refactorisation généralisée qui réduise la duplication tout en conservant la capacité d'inspecter les graphes d'architecture individuels. Envisagez d'utiliser une conception pilotée par la configuration ou des méthodes de template pour encapsuler les différences.
Stack technique
cpp
Domaine
backendmachine learning
Type d'issue
Refactorisation
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
3-5 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
C++LLM architecture knowledge
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
30