ggml-org/llama.cpp

server: exit failure if `--embedding` is set with an incoherent `--ubatch-size`

Fechada

#6.263 aberto em 23 de mar. de 2024

Ver no GitHubGuia do colaborador
 (8 comentários) (1 reação) (0 responsável)C++ (21.812 forks)batch import
enhancementgood first issuehelp wanted

Métricas do repositório

Stars
 (124.339 estrelas)
Métricas de merge de PR
 (Mesclagem média 6d 8h) (389 fundiu PRs em 30d)

Description

Context

there is no advantage to increase n_batch above n_ubatch with embeddings models with pooling, because the entire batch must fit in a physical batch (ie. n_ubatch). n_batch is always >= n_ubatch.

Proposition

Exit failure if --embedding is set and --ubatch-size != --batch-size in the server example. Probably also in the retrieval example in #6193.

Aldo probably KV bert.context_size must be taken into account.

Guia do colaborador

Direção de pesquisa
No exemplo do servidor, adicione validação de que quando embedding está definido, ubatch size deve ser igual a batch size, caso contrário imprima um erro e saia. Considere também verificar a consistência do KV bert.context size.
Pilha de tecnologia
ccpp
Domain
backendapi
Tipo Issue
Bug
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
C++Git
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
70