pytorch/serve

Having two different endpoints for a single model

Open

#2058 aperta il 5 gen 2023

Vedi su GitHub
 (2 commenti) (0 reazioni) (0 assegnatari)Java (790 fork)batch import
enhancementhelp wantedtriaged

Metriche repository

Star
 (3844 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

Hello!

Is it possible to create two different endpoints for a single model? So it can work in two separate modes and batch accordingly depending on the input (e.g., it can generate an image or perform upscaling given an input). I can make two different models but then the memory will be double, while actually no extra memory is needed (as the model weights are the same). Ideally, I want to have the same model weights but two different endpoints with different batching settings.

Best, Valentin

Guida contributor

Direzione di ricerca
Indaga come funziona la registrazione degli endpoint in TorchServe ed esplora i modi per registrare più endpoint che puntano allo stesso modello con diverse configurazioni di batch. Guarda la funzionalità degli endpoint personalizzati e i file di configurazione del modello.
Tech stack
javapytorch
Dominio
backendapi
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Nuova
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
GitJavaPyTorch
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
40