mozilla-ai/llamafile

How do I add the ChatML prompt template to the .args file when creating a llamafile?

Aberta

#227 aberto em 24 de jan. de 2024

Ver no GitHubGuia do colaborador
 (3 comentários) (1 reação) (0 responsável)C++ (1.358 forks)batch import
enhancementhelp wanted

Métricas do repositório

Stars
 (24.439 estrelas)
Métricas de merge de PR
 (Mesclagem média 2d 20h) (14 fundiu PRs em 30d)

Description

Simply something like this:

-template "<|im_start|>system {system_message}<|im_end|> <|im_start|>user {prompt}<|im_end|> <|im_start|>assistant"

or something else entirely?

Guia do colaborador

Direção de pesquisa
Verifique a documentação do llamafile para o formato do arquivo .args e a flag template. Você precisa incluir o template completo do prompt como uma única linha ou string devidamente escapada no arquivo .args. Para ChatML, use template "<|im start|>system\n{system message}<|im end|>\n<|im start|>user\n{prompt}<|im end|>\n<|im start|>assistant"
Pilha de tecnologia
None
Domain
climachine learning
Tipo Issue
Documentação
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
1
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Menos de 1 hora
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
basic command line
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
85