pytorch/serve

Enabling HTTP caching of inference results

Open

#1.527 aberto em 23 de mar. de 2022

Ver no GitHub
 (2 comments) (4 reactions) (1 assignee)Java (3.844 stars) (790 forks)batch import
enhancementhelp wanted

Description

Is your feature request related to a problem? Please describe.

Currently, TorchServe adds headers that prevent from caching the inference results: https://github.com/pytorch/serve/blob/30f83500b0850e26ec55581f48a9307b1986f9f9/frontend/server/src/main/java/org/pytorch/serve/util/NettyUtils.java#L187-L190

This prevents some reverse-proxies like nginx from caching the results

Describe the solution

It would be great to have a way to override this behavior, either from the model handler, or through some configuration key.

Describe alternatives solution

N/A

Guia do colaborador

Pilha de tecnologia
javapython
Domain
backendperformance
Tipo Issue
feature
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
half day
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
stale
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
clear
Prerequisites
JavaNettyTorchServe internalsHTTP caching concepts
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
40
Direção de pesquisa
Investigate the file frontend/server/src/main/java/org/pytorch/serve/util/NettyUtils.java, specifically lines 187-190 where caching prevention headers are set. Consider adding a configuration option or model handler method to allow overriding these headers. Review existing configuration mechanisms in TorchServe to understand how to implement a toggle for caching. Look at discussions in the issue comments for any additional context or proposed solutions.