abetlen/llama-cpp-python

Add Finetune Support

Open

#814 aberto em 11 de out. de 2023

Ver no GitHub
 (3 comments) (8 reactions) (0 assignees)Python (644 forks)batch import
enhancementhelp wanted

Métricas do repositório

Stars
 (4.995 stars)
Métricas de merge de PR
 (Mesclagem média 1d 5h) (68 fundiu PRs em 30d)

Description

In the late versions of llama.cpp there are ways to fine-tune the model using LoRA adapters: https://github.com/ggerganov/llama.cpp/pull/2632

However, either I missed it or are there no functions introduced in this PR imported into this project?

Describe alternatives you've considered Sure it's always an option to use a CLI tool, but I guess Python binding can be useful.

Guia do colaborador

Direção de pesquisa
Revise o PR referenciado (llama.cpp #2632) para entender a nova API LoRA, depois examine os bindings Python existentes no llama cpp python para determinar como expor as funções de ajuste fino, provavelmente via ctypes ou cffi. Verifique se há branches ou discussões em andamento.
Pilha de tecnologia
python
Domain
machine learningapi
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
PythonC++ basics (for binding)
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
40