Engine blows up if downloading too much data in a HTTP request
I maintainer di solito rispondono entro 1 giorno
@josephjclark ci sta già lavorando.
Dal 29/4/2026.
Valutazione
Questa issue non è ancora stata valutata.
Descrizione
When requesting really really big data sets, it seems the worker can get OOMkilled by kubernetes
I don't understand this, because the http request is async and should stream down, yeilding to other processes, and should give plenty of time for the child process OOMKill to kill in and gracefully kill it.
I suppose it's possible that the request completes quite happily and keeps all the data in memory (at an in-memory cost within tolerance). But when serializing the dataclip out of the child process, the synchronous JSON.stringify call (to measure the serialized dataclip size) is chewing up too much memory before the child process can catch it.
Yeah. That'll be it.
That stuff is being looked at over in #1366 - but that's proving quite a problematic PR in its own right.
Data can be downloaded from a public URL without credentials, although I won't share it here. Maybe check api/Facility/All in et-mfr, or DM me for the URL. Or just find a bunch of json elsewhere :)
- Lingua principale
- TypeScript
- Stelle
- 21
- Fork
- 22
- Merge medio
- 1g 6h
- PR unite (30g)
- 26
Preparare l'ambiente
Avvia il container di sviluppo del progetto nel browser, con il tuo account GitHub.
- Include un Dockerfile o un file Docker Compose
- Ha un modello di pull request
- Nessuna guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di OpenFn/kit
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 78/100
OpenFn/kit#1574 · 1 reazione ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
OpenFn/kit#1551 · 3 commenti ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
I maintainer di solito rispondono entro 1 giorno
-
Worker: ignore sentry errors `Credential environment mismatch`Forse di nuovo libera Una pull request per questa issue è stata chiusa senza essere unita. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
OpenFn/kit#1460 · 2 commenti ·
I maintainer di solito rispondono entro 1 giorno
-
CLI
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
I maintainer di solito rispondono entro 1 giorno
Issue simili
-
Add: VIVE TVApertaapproved check:passed streams:add
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 72/100
iptv-org/iptv#55293 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
bug needs-triage
Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100
Fission-AI/OpenSpec#2084 ·
I maintainer di solito rispondono entro 2 giorni
-
Contrib indemnité de départ à la retraite : faire le pont avec le simulateur sur la page génériqueApertaP1
Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100
SocialGouv/code-du-travail-numerique#7561 ·
I maintainer di solito rispondono entro 1 giorno
-
beginner bug
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 88/100
hiero-ledger/hiero-sdk-js#4517 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100
kubernetes-sigs/headlamp#7950 ·
I maintainer di solito rispondono entro 3 giorni