ggml-org/llama.cpp

feature request - disabling tokenizer in conversion / inference

Fechada

#1.765 aberto em 8 de jun. de 2023

Ver no GitHubGuia do colaborador
 (7 comentários) (1 reação) (0 responsável)C++ (21.874 forks)batch import
enhancementgood first issuehelp wanted

Métricas do repositório

Stars
 (124.541 estrelas)
Métricas de merge de PR
 (Mesclagem média 6d 8h) (389 fundiu PRs em 30d)

Description

in #1764 i asked if it'd be possible to add a Huggingface tokenizer. but - HF tokenizers are quite flexible and officially supporting them in llama.cpp (or ggml?) might be a lot of hassle.

a much easier workaround would be allowing to disable tokenizers in both model conversion and inference. this means the users are supposed to encode(text)/decode(ids) in their implementation for using llama.cpp. in my case, for example, i'll use a python GUI and a wrapper anyway.

i'd like to work on it, but honestly i don't think i understand enough to be able to do this. i'd appreciate very much if anyone's interested in it.

Guia do colaborador

Direção de pesquisa
Examine a integração do tokenizer no llama.cpp revisando o script de conversão e o código de inferência. Consulte a discussão na issue vinculada #1764 para contexto. Identifique onde ocorre a codificação/decodificação do tokenizer e considere adicionar um sinalizador de configuração para contorná la.
Pilha de tecnologia
ccpp
Domain
backendmachine learning
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Antigo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Principalmente claro
Prerequisites
Basic C++Understanding of tokenizer internals
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
45