pytorch/serve

how does `default_response_timeout` work?

Open

#2.452 geöffnet am 8. Juli 2023

Auf GitHub ansehen
 (6 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Java (3.844 Stars) (790 Forks)batch import
documentationgood first issuetriaged

Beschreibung

📚 The doc issue

I set the value of default_response_timeout to 4 i.e. 4 seconds. At the start of the model load, this happens after 4 (ish) seconds:

org.pytorch.serve.wlm.WorkerInitializationException: Backend worker did not respond in given time

My guess is because the model takes a while to load (more than 4 seconds), the worker gets killed. Is there a way to set a larger initial delay i.e. differentiate these two scenarios:

  • account for the initial model load with a number different from default_response_timeout
  • if model doesn't response in default_response_timeout after the initial load, then kill the worker

Suggest a potential alternative/fix

No response

Contributor Guide

Tech Stack
pythonpytorchjava
Domain
documentationbackend
Issue Type
documentation
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 hours
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
stale
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
clear
Voraussetzungen
PyTorch Serveconfiguration
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
80
Research-Richtung
Examine the issue comments for any maintainer suggestions or workarounds. Look at the PyTorch Serve source code, particularly the worker initialization files (e.g., `wlm.py` for Python backend or relevant Java classes) to understand how `default response timeout` is currently implemented. Propose adding a separate configuration parameter like `initial load timeout` to differentiate between model loading and subsequent timeouts. Update the documentation to clarify this behavior.