Large dataclips can still cause runs to be lost
メンテナーはふだん 1 日以内に返信
評価
この issue はまだ評価されていません。
説明
Despite a lot of improvements to memory handling and payload processing, I think we're still losing lost runs with large dataclips.
I'm looking at impact water which is regularly building 9.8mb dataclips and lost runs.
I'm not sure sure exactly where the error lies - but I think when processing this 10mb dataclip to send to lightning, either the connection is actually timing out or some process (lightning side or worker side) is exceeded a memory limit and giving in.
The worst thing is that this is dying silently and causing the websocket to disconnect, resulting in a lost run
A few things jump to mind:
- Claude points out the state objects are double encoded in to JSOn strings. bloating the size A 9mb dataclip in memory might acutally serialize to 10mb or more in the event sent to lightning because of the nested JSON escape characters
- We are not getting good sentry reports when these events timeout - that needs fixing
This is the underlying cause behind https://github.com/OpenFn/kit/issues/1072 and https://github.com/OpenFn/kit/issues/1179. Both those issues describe symptoms of this one underlying thing. They both describe a case where an event fails to send and then bad things happen. This issue is the reason teh events fail.
- 主要言語
- TypeScript
- スター
- 22
- フォーク
- 22
- 平均マージ
- 1日 7時間
- マージ済み PR（30日）
- 24
環境構築
このプロジェクトの開発コンテナを、あなたの GitHub アカウントでブラウザ上に起動します。
- Dockerfile または Docker Compose ファイルあり
- プルリクエストのテンプレートあり
- コントリビューションガイドなし
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
OpenFn/kit のほかの issue
-
難易度 1/5 1時間未満 初心者へのやさしさ 78/100
OpenFn/kit#1574 · リアクション 1 件 ·
メンテナーはふだん 1 日以内に返信
-
Project: square brackets in a path name break things対応中かも このイシューにリンクされたプルリクエストがオープン中、またはマージ済みです。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
メンテナーはふだん 1 日以内に返信
-
Worker: ignore sentry errors `Credential environment mismatch`再び着手できるかも このイシューのプルリクエストはマージされずにクローズされました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
メンテナーはふだん 1 日以内に返信
-
CLI
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
メンテナーはふだん 1 日以内に返信
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 74/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
OpenPetsHQ/openpets#273 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
fritzprix/libr-agent#2161 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 83/100
blackboardsh/electrobun#581 ·
-
backlog-skill effort:xs frontend infra ready-for-agent
難易度 2/5 1〜3時間 初心者へのやさしさ 74/100
LucasSantana-Dev/Lucky#2862 ·
メンテナーはふだん 1 日以内に返信