ggml-org/llama.cpp

Refactor: Existing examples refactoring opportunities

Open

#7.559 aberto em 27 de mai. de 2024

Ver no GitHub
 (0 comments) (2 reactions) (0 assignees)C++ (18.202 forks)batch import
help wantedrefactoring

Métricas do repositório

Stars
 (110.169 stars)
Métricas de merge de PR
 (Mesclagem média 6d 8h) (389 fundiu PRs em 30d)

Description

GG in this PR was suggesting a refactoring of examples and provided an example of what he would like to refactor. This is a ticket to inform others about opportunities to improve examples

I think a bigger advantage would be to do some refactoring in the existing examples and "hide" some of the state for sampling and KV cache management that we expose behind the common API

If there is any other aspect of the example which is currently a pain point for developer grokking, feel free to also suggest some so it can be added here.

Guia do colaborador

Direção de pesquisa
Investigue as oportunidades de refatoração nos exemplos existentes, conforme sugerido no comentário do PR vinculado. Concentre se em ocultar o estado de amostragem e abstrair o gerenciamento do cache KV por trás da API comum. Considere também reestruturar as mensagens de ajuda.
Pilha de tecnologia
cpp
Domain
backend
Tipo Issue
Refatoração
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Precisa de investigação
Prerequisites
C++
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
35