pytorch/serve

Having two different endpoints for a single model

Open

#2.058 geöffnet am 5. Jan. 2023

Auf GitHub ansehen
 (2 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Java (790 Forks)batch import
enhancementhelp wantedtriaged

Repository-Metriken

Stars
 (3.844 Stars)
PR-Merge-Metriken
 (Keine gemergten PRs in 30 T)

Beschreibung

Hello!

Is it possible to create two different endpoints for a single model? So it can work in two separate modes and batch accordingly depending on the input (e.g., it can generate an image or perform upscaling given an input). I can make two different models but then the memory will be double, while actually no extra memory is needed (as the model weights are the same). Ideally, I want to have the same model weights but two different endpoints with different batching settings.

Best, Valentin

Contributor Guide

Research-Richtung
Untersuchen Sie, wie die Endpunktregistrierung von TorchServe funktioniert, und erkunden Sie Möglichkeiten, mehrere Endpunkte zu registrieren, die auf dasselbe Modell mit unterschiedlichen Batch Konfigurationen verweisen. Werfen Sie einen Blick auf die benutzerdefinierte Endpunktfunktion und die Modellkonfigurationsdateien.
Tech Stack
javapytorch
Domain
backendapi
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Halber Tag
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Frisch
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
GitJavaPyTorch
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
40