pytorch/serve

Having two different endpoints for a single model

Open

#2.058 aberto em 5 de jan. de 2023

Ver no GitHub
 (2 comments) (0 reactions) (0 assignees)Java (790 forks)batch import
enhancementhelp wantedtriaged

Métricas do repositório

Stars
 (3.844 stars)
Métricas de merge de PR
 (Nenhuma PRs mesclada em 30d)

Description

Hello!

Is it possible to create two different endpoints for a single model? So it can work in two separate modes and batch accordingly depending on the input (e.g., it can generate an image or perform upscaling given an input). I can make two different models but then the memory will be double, while actually no extra memory is needed (as the model weights are the same). Ideally, I want to have the same model weights but two different endpoints with different batching settings.

Best, Valentin

Guia do colaborador

Direção de pesquisa
Investigue como funciona o registro de endpoints no TorchServe e explore maneiras de registrar múltiplos endpoints apontando para o mesmo modelo com diferentes configurações de lote. Veja o recurso de endpoint personalizado e os arquivos de configuração do modelo.
Pilha de tecnologia
javapytorch
Domain
backendapi
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Recente
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
GitJavaPyTorch
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
40