abetlen/llama-cpp-python

Add Finetune Support

Open

#814 ouverte le 11 oct. 2023

Voir sur GitHub
 (3 commentaires) (8 réactions) (0 assignés)Python (644 forks)batch import
enhancementhelp wanted

Métriques du dépôt

Stars
 (4 995 stars)
Métriques de merge PR
 (Merge moyen 1j 5h) (68 PRs mergées en 30 j)

Description

In the late versions of llama.cpp there are ways to fine-tune the model using LoRA adapters: https://github.com/ggerganov/llama.cpp/pull/2632

However, either I missed it or are there no functions introduced in this PR imported into this project?

Describe alternatives you've considered Sure it's always an option to use a CLI tool, but I guess Python binding can be useful.

Guide contributeur

Direction de recherche
Examinez la PR référencée (llama.cpp #2632) pour comprendre la nouvelle API LoRA, puis examinez les liaisons Python existantes dans llama cpp python pour déterminer comment exposer les fonctions de réglage fin, probablement via ctypes ou cffi. Vérifiez s'il existe des branches ou des discussions en cours.
Stack technique
python
Domaine
machine learningapi
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Une demi journée
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
PythonC++ basics (for binding)
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
40