abetlen/llama-cpp-python

Add Finetune Support

Open

#814 geöffnet am 11. Okt. 2023

Auf GitHub ansehen
 (3 Kommentare) (8 Reaktionen) (0 zugewiesene Personen)Python (644 Forks)batch import
enhancementhelp wanted

Repository-Metriken

Stars
 (4.995 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 1T 5h) (68 gemergte PRs in 30 T)

Beschreibung

In the late versions of llama.cpp there are ways to fine-tune the model using LoRA adapters: https://github.com/ggerganov/llama.cpp/pull/2632

However, either I missed it or are there no functions introduced in this PR imported into this project?

Describe alternatives you've considered Sure it's always an option to use a CLI tool, but I guess Python binding can be useful.

Contributor Guide

Research-Richtung
Überprüfen Sie den referenzierten PR (llama.cpp #2632), um die neue LoRA API zu verstehen. Untersuchen Sie dann die vorhandenen Python Bindungen in llama cpp python, um zu bestimmen, wie die Feintuning Funktionen (wahrscheinlich über ctypes oder cffi) bereitgestellt werden können. Prüfen Sie, ob es laufende Branches oder Diskussionen gibt.
Tech Stack
python
Domain
machine learningapi
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Halber Tag
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
PythonC++ basics (for binding)
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
40