pytorch/serve

Having two different endpoints for a single model

Open

#2 058 ouverte le 5 janv. 2023

Voir sur GitHub
 (2 commentaires) (0 réactions) (0 assignés)Java (790 forks)batch import
enhancementhelp wantedtriaged

Métriques du dépôt

Stars
 (3 844 stars)
Métriques de merge PR
 (Aucune PR mergée en 30 j)

Description

Hello!

Is it possible to create two different endpoints for a single model? So it can work in two separate modes and batch accordingly depending on the input (e.g., it can generate an image or perform upscaling given an input). I can make two different models but then the memory will be double, while actually no extra memory is needed (as the model weights are the same). Ideally, I want to have the same model weights but two different endpoints with different batching settings.

Best, Valentin

Guide contributeur

Direction de recherche
Enquêtez sur le fonctionnement de l'enregistrement des points de terminaison de TorchServe et explorez les moyens d'enregistrer plusieurs points de terminaison pointant vers le même modèle avec différentes configurations de lot. Consultez la fonctionnalité de point de terminaison personnalisé et les fichiers de configuration du modèle.
Stack technique
javapytorch
Domaine
backendapi
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Une demi journée
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Récente
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
GitJavaPyTorch
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
40