pytorch/serve

Enabling HTTP caching of inference results

Open

#1.527 geöffnet am 23. März 2022

Auf GitHub ansehen
 (2 Kommentare) (4 Reaktionen) (1 zugewiesene Person)Java (3.844 Stars) (790 Forks)batch import
enhancementhelp wanted

Beschreibung

Is your feature request related to a problem? Please describe.

Currently, TorchServe adds headers that prevent from caching the inference results: https://github.com/pytorch/serve/blob/30f83500b0850e26ec55581f48a9307b1986f9f9/frontend/server/src/main/java/org/pytorch/serve/util/NettyUtils.java#L187-L190

This prevents some reverse-proxies like nginx from caching the results

Describe the solution

It would be great to have a way to override this behavior, either from the model handler, or through some configuration key.

Describe alternatives solution

N/A

Contributor Guide

Tech Stack
javapython
Domain
backendperformance
Issue Type
feature
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
half day
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
stale
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
clear
Voraussetzungen
JavaNettyTorchServe internalsHTTP caching concepts
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
40
Research-Richtung
Investigate the file frontend/server/src/main/java/org/pytorch/serve/util/NettyUtils.java, specifically lines 187-190 where caching prevention headers are set. Consider adding a configuration option or model handler method to allow overriding these headers. Review existing configuration mechanisms in TorchServe to understand how to implement a toggle for caching. Look at discussions in the issue comments for any additional context or proposed solutions.