pytorch/serve

Handle invalid input intelligently ！

Open

#2.459 geöffnet am 12. Juli 2023

Auf GitHub ansehen
 (7 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Java (3.844 Stars) (790 Forks)batch import
debugginggood first issuetriaged

Beschreibung

🚀 The feature

Given a custom service that expects JSON as input, If the input is invalid JSON such as { "image": "I missed a quote} it will return { "code": 500, "type": "InternalServerException", "message": "Worker died." } and reload model. Is something can do to verify the accuracy of input to avoid such direct returns and model reload when it cannot be modified input?

Motivation, pitch

Is something can do to verify the accuracy of input to avoid such direct returns and model reload when it cannot be modified input?

Alternatives

No response

Additional context

No response

Contributor Guide

Tech Stack
pythonjavarest api
Domain
backendapimachine learning
Issue Type
feature
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 hours
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
fresh
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
mostly clear
Voraussetzungen
Familiarity with PyTorch ServeBasic understanding of JSON parsing
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
65
Research-Richtung
Investigate the input validation pipeline in PyTorch Serve. Look at the request handler code in `frontend/server/src/main/java/org/pytorch/serve/http/InferenceRequestHandler.java` and the worker process in `backend/python/worker.py`. The issue suggests adding pre validation of JSON input before passing to the model worker. Consider implementing a JSON schema validation step in the frontend to catch invalid JSON early and return a 400 error instead of a 500. Check if there are existing input validation utilities in the codebase that can be leveraged or extended.