pytorch/serve

how does `default_response_timeout` work?

Open

#2452 aperta il 8 lug 2023

Vedi su GitHub
 (6 commenti) (0 reazioni) (0 assegnatari)Java (790 fork)batch import
documentationgood first issuetriaged

Metriche repository

Star
 (3844 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

📚 The doc issue

I set the value of default_response_timeout to 4 i.e. 4 seconds. At the start of the model load, this happens after 4 (ish) seconds:

org.pytorch.serve.wlm.WorkerInitializationException: Backend worker did not respond in given time

My guess is because the model takes a while to load (more than 4 seconds), the worker gets killed. Is there a way to set a larger initial delay i.e. differentiate these two scenarios:

  • account for the initial model load with a number different from default_response_timeout
  • if model doesn't response in default_response_timeout after the initial load, then kill the worker

Suggest a potential alternative/fix

No response

Guida contributor

Direzione di ricerca
Esaminare la configurazione di default response timeout e come interagisce con il caricamento del modello. Controllare il codice sorgente per WorkerInitializationException per capire quando viene lanciata.
Tech stack
java
Dominio
backend
Tipo issue
Documentazione
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
TorchServe
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
75