rivetkit 3.0: HTTP 400 overloaded on node pool upsert is treated as fatal and exits the process
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 2/5
- Tempo stimato
- 1-3 ore
- Idoneità per principianti
- 78/100
- Tipo di issue
- Bug
- Chiarezza
- Specificata chiaramente
- Stato di attività
- Attiva
- Stack tecnologico
- rust
- Ambito
- backend, distributed-systems
Direzione di ricerca
Leggi rivetkit-rust/packages/rivetkit-core/src/registry/runner_config.rs, in particolare response_error, e segui come il suo risultato ritentabile raggiunge il ciclo di nuovi tentativi esistente. Considera ritentabile il codice overloaded nel corpo della risposta, poi controlla i test di avvio del registro che riproducono gli upsert di un pool di nodi sovraccarico; il lavoro è completato quando l’avvio ritenta questa risposta invece di terminare.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Summary
In rivetkit 3.0.0-preview.3, a registry that starts against a local engine exits the process when the engine answers the node pool upsert with HTTP 400 overloaded. The engine marks that answer as retryable ("retry after 100 ms"), but the client treats it as fatal.
Where
rivetkit-rust/packages/rivetkit-core/src/registry/runner_config.rs, response_error. It classifies only 404, 429, 5xx and body code not_found as retryable. The engine answers a warming or busy storage host with:
400 Bad Request {"code":"overloaded","group":"depot","message":"The storage host refused the command (routing_unavailable); retry after 100 ms."}
400 Bad Request {"code":"overloaded","group":"depot","message":"The storage host refused the command (command_capacity); retry after 100 ms."}
That error goes to ensure_local_normal_runner_config, then to serveRegistry, and rivetkit/dist/tsup/mod.js calls process.exit(1) on "runtime registry serve errored".
Reproduction
Single local engine, rivet-engine 3.0.0-preview.3 on macOS arm64, file-system object storage, storage.auto_provision_partitions=1, storage.balancing.enabled=false (the same settings as engine_env in rivetkit-rust/packages/engine-process).
Send PUT /pools/default?namespace=default with body {"drain_on_version_upgrade":true} every 100 ms:
- From engine start until about 1.7 s, every call gets
overloaded(routing_unavailable). - With 1 call at a time after that, every call succeeds.
- With 8 parallel calls, each round has one success and the other calls get
overloaded(command_capacity), for as long as the loop runs.
So a registry that starts in the first ~1.7 s after the engine, or at the same time as another registry against the same engine, ends its process. In our test suite this failed 6 of 23 tests in one file.
Expected
Treat body code overloaded as AttemptError::Retryable, so the existing 60 x 500 ms retry loop covers it.
Workaround
Before registry.startAndWait(), we send the same PUT ourselves, retry it on overloaded, and start one registry at a time in the process.
- Lingua principale
- Rust
- Stelle
- 6.3k
- Fork
- 280
- Merge medio
- 14h 38m
- PR unite (30g)
- 38
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Ha un modello di pull request
- Nessuna guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di rivet-dev/rivet
-
effect: action on a missing actor instance fails as internal_error instead of actor.abortedForse già presa @kunalgoesbyken l’ha presa 4 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
rivet-dev/rivet#5891 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Rust client drops connection-level errors when actionId is null (JSON/CBOR)Forse già presa @DibbayajyotiRoy l’ha presa 26 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
rivet-dev/rivet#5819 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Queue docs say completable messages are removed on receive, but they stay stored until complete()Forse già presa @Saisharathchandranandnetha l’ha presa 37 giorni fa. Aperta
Difficoltà 1/5 1-3 ore Idoneità per principianti 91/100
rivet-dev/rivet#5762 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Serverless listener forwards /start to the application when basePath is "/"Forse già presa @Saisharathchandranandnetha l’ha presa 40 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 90/100
rivet-dev/rivet#5755 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
v3 engine: default InMemory object store with a persistent log_directory loses all metadata on restart, then refuses envoys with depot.corrupt ("record is lost")Forse già presa Una pull request collegata a questa issue è aperta o già unita. Aperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 48/100
rivet-dev/rivet#5932 · 3 commenti ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di rivet-dev/rivet
Issue simili
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
swc-project/swc-next#1165 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 73/100
Alive24/shea-symphony#574 ·
-
documentation good first issue help wanted
Difficoltà 2/5 1-3 ore Idoneità per principianti 74/100
dev-five-git/devup-ui#879 ·
I maintainer di solito rispondono entro 11 giorni
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 77/100
farion1231/cc-switch#9038 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100
FalkorDB/FalkorDB#3597 · 1 commento ·
I maintainer di solito rispondono entro 2 giorni