[Bug]: Connection reset by peer code 14.
I maintainer di solito rispondono entro 3 giorni
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 25/100
Direzione di ricerca
Iniziare dalla configurazione del canale Python gRPC e dalla chiamata a PredictionServiceStub.Predict mostrati nel report. Riprodurre il reset intermittente nel deployment AWS e confrontare i log del client e del server in corrispondenza dell’errore StatusCode.UNAVAILABLE. Il lavoro sarà considerato completato quando sarà stata identificata una causa riproducibile e sarà stata convalidata una correzione o una soluzione alternativa documentata.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
OpenVINO Version
2023.0
Operating System
Ubuntu 20.04 (LTS)
Device used for inference
CPU
Framework
PyTorch
Model used
No response
Issue description
I'm usign GRPC to make requests to predict service. When I run it on a local machine I have no problems, but when I deploy it on AWS, I sometimes get "Connection Reset By Peer Error". It doesn't follow a sequence, that is, It happens ramdomly and I need to reopen the channel.
I am using a python API creating connection and using predict endpoint in this way:
self.channel = grpc.insecure_channel('{host}:{port}'.format(host=self.host, port=self.port),options=self.options)
stub = prediction_service_pb2_grpc.PredictionServiceStub(self.channel)
request = predict_pb2.PredictRequest()
request.model_spec.name = self.model_name
request.model_spec.signature_name = self.signature_name
result = stub.Predict(request, 30, wait_for_ready=True)
return result
I have the following configuration:
grpc.max_message_length = 100 * 1024 *1024
grpc.max_receive_message_length = 128 * 1024 *1024
grpc.enable_http_proxy = 0
grpc.keepalive_time_ms = 2147483647
grpc.max_connection_idle_ms' = 2147483647
grpc.max_connection_age_ms = 2147483647
grpc.max_connection_age_grace_ms = 2147483647
grpc.client_idle_timeout_ms= 2147483647
Step-by-step reproduction
No response
Relevant log output
grpc._channel._InactiveRpcError: <_InactiveRpcError of RPC that terminated with:
status = StatusCode.UNAVAILABLE
details = "Connection reset by peer"
debug_error_string = "{"created":"@1699622642.536271816","description":"Error received from peer ipv4:x.x.x.x:9000","file":"src/core/lib/surface/call.cc","file_line":1061,"grpc_message":"Connection reset by peer","grpc_status":14}"
Issue submission checklist
- I'm reporting an issue. It's not a question.
- I checked the problem with the documentation, FAQ, open issues, Stack Overflow, etc., and have not found a solution.
- There is reproducer code and related data files such as images, videos, models, etc.
- Lingua principale
- C++
- Stelle
- 947
- Fork
- 280
- Merge medio
- 3g 14h
- PR unite (30g)
- 46
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di openvinotoolkit/model_server
-
Rerank with an empty documents array or object documents fails with an internal tokenizer errorForse già presa @Daksha1611 l’ha presa 2 giorni fa. Aperta
Difficoltà 4/5 1-2 giorni Idoneità per principianti 24/100
openvinotoolkit/model_server#4671 ·
I maintainer di solito rispondono entro 3 giorni
-
Downloading an image from a URL has no timeoutForse già presa @Daksha1611 l’ha presa 3 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 35/100
openvinotoolkit/model_server#4669 ·
I maintainer di solito rispondono entro 3 giorni
-
max_tokens and best_of reject a value equal to their configured limitForse già presa @Daksha1611 l’ha presa 4 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 25/100
openvinotoolkit/model_server#4666 ·
I maintainer di solito rispondono entro 3 giorni
-
/v1/tokenize returns a flat list when the text array holds a single stringForse già presa @Daksha1611 l’ha presa 4 giorni fa. Aperta
Difficoltà 3/5 1-2 giorni Idoneità per principianti 25/100
openvinotoolkit/model_server#4664 ·
I maintainer di solito rispondono entro 3 giorni
-
String-typed tool call arguments are rewritten when the text is valid JSONForse già presa @Daksha1611 l’ha presa 4 giorni fa. Aperta
Difficoltà 3/5 1-2 giorni Idoneità per principianti 25/100
openvinotoolkit/model_server#4662 ·
I maintainer di solito rispondono entro 3 giorni
Tutte le issue di openvinotoolkit/model_server
Issue simili
-
(S1 - Need confirmation)
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
CleverRaven/Cataclysm-DDA#89212 ·
I maintainer di solito rispondono entro 1 giorno
-
Status: Needs confirmation Status: Needs triage
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
I maintainer di solito rispondono entro 1 giorno
-
ai_p2 comp-dictionary
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
ClickHouse/ClickHouse#127261 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
NVIDIA-Omniverse/usd-brep#23 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
qbittorrent/qBittorrent#25121 ·
I maintainer di solito rispondono entro 2 giorni