abetlen/llama-cpp-python

Add Finetune Support

Open

#814 aperta il 11 ott 2023

Vedi su GitHub
 (3 commenti) (8 reazioni) (0 assegnatari)Python (644 fork)batch import
enhancementhelp wanted

Metriche repository

Star
 (4995 star)
Metriche merge PR
 (Merge medio 1g 5h) (68 PR mergiate in 30 g)

Descrizione

In the late versions of llama.cpp there are ways to fine-tune the model using LoRA adapters: https://github.com/ggerganov/llama.cpp/pull/2632

However, either I missed it or are there no functions introduced in this PR imported into this project?

Describe alternatives you've considered Sure it's always an option to use a CLI tool, but I guess Python binding can be useful.

Guida contributor

Direzione di ricerca
Esamina la PR referenziata (llama.cpp #2632) per comprendere la nuova API LoRA, poi esamina i binding Python esistenti in llama cpp python per determinare come esporre le funzioni di fine tuning, probabilmente tramite ctypes o cffi. Controlla se ci sono branch o discussioni in corso.
Tech stack
python
Dominio
machine learningapi
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonC++ basics (for binding)
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
40