pytorch/serve

Enabling HTTP caching of inference results

Open

#1,527 opened on 2022年3月23日

GitHub で見る
 (2 comments) (4 reactions) (1 assignee)Java (3,844 stars) (790 forks)batch import
enhancementhelp wanted

説明

Is your feature request related to a problem? Please describe.

Currently, TorchServe adds headers that prevent from caching the inference results: https://github.com/pytorch/serve/blob/30f83500b0850e26ec55581f48a9307b1986f9f9/frontend/server/src/main/java/org/pytorch/serve/util/NettyUtils.java#L187-L190

This prevents some reverse-proxies like nginx from caching the results

Describe the solution

It would be great to have a way to override this behavior, either from the model handler, or through some configuration key.

Describe alternatives solution

N/A

コントリビューターガイド

技術スタック
javapython
領域
backendperformance
Issue 種別
feature
難度新しい貢献者にとっての実装難度です。1 は非常に小さな変更、5 は専門的な作業です。
3
推定時間経験ある貢献者が調査、実装、テスト、pull request 準備にかけるおおよその時間範囲です。
half day
活動状況Issue が今どれだけ取り組みやすいかを示します。新しい、活発、古い、ブロック中、またはメンテナー入力待ちなどです。
stale
明確さ期待される変更、受け入れ条件、次の手順がどれだけ明確かを示します。
clear
前提条件
JavaNettyTorchServe internalsHTTP caching concepts
初心者向け度初回貢献者にどれだけ取り組みやすいかを 1-100 で推定したスコアです。
40
調査方針
Investigate the file frontend/server/src/main/java/org/pytorch/serve/util/NettyUtils.java, specifically lines 187-190 where caching prevention headers are set. Consider adding a configuration option or model handler method to allow overriding these headers. Review existing configuration mechanisms in TorchServe to understand how to implement a toggle for caching. Look at discussions in the issue comments for any additional context or proposed solutions.