[BUG] - Cardano-node 11.1.3 crashes due to increasing memory consumption
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 44/100
- issue の種類
- バグ
- 明瞭さ
- おおむね明確
- 活発さ
- 活発
- 技術スタック
- docker, docker-compose, grafana, haskell
- 領域
- backend, performance
調査の方向性
Start by comparing cardano-node 11.1.3 with 11.1.2 under the reported Docker setup, using docker stats to track memory and the supplied RTS options. The issue does not identify a source file or failing test, so tracing the memory growth will require familiarity with the node. Done means reproducing and locating the regression and confirming memory stays within the reported 16–24 GB range.
索引モデルが issue の本文から書いたものです。
説明
External
Area
Other cardano-node 11.1.3
Summary
cardano-node 11.1.3 consumes over 28 Gb memory within 6 hours , exhausts resources and crashes (restarts my container). This is on a bare metal machine with 64 Gb memory running two nodes. On the same machine running one node this problem doesn't occur. But it should never consume more than 28 Gb memory in the first place and the memory consumption crawls up over time.
Running this in my own docker environment on basis of Debian-Slim. Switching back to cardano-node 11.1.2 shows that the node stays within the 24Gb memory with the same docker environment, just change of the binary.
So there is definitely a problem with Cardano-node 11.1.3 binary.
Steps to reproduce
I think it should be easy to reproduce on your end by monitoring the memory or by installing two nodes on a machine with 64 Gb and restricting the container with the following settings in .env NODE_MEM_LIMIT=32g
NODE_MEM_RESERVATION=28g and under services relay in docker-compose.yaml
services:
relay:
mem_limit: ${NODE_MEM_LIMIT:-0}
mem_reservation: ${NODE_MEM_RESERVATION:-0}
I increased the values of NODE-MEM-LIMIT and NODE_MEM_RESERVATION because of this bug, but this didn't help still crashing the node after exhausting the memory.
cardano-node started with the following rts_opts="${RTS_OPTS:--N4 -xn -T -A128m -n1m -I0.3 -Iw3600 -F1.5 -H8000m}"
I switched back to cardano-node 11.1.2 with the exact same setup and settings and it stays within the boundaries of 24 Gb memory consumption, the memory consumption doesn't crawl up like with cardano-node 11.1.3
Checked memory consumption with: docker stats --no-stream
Monitoring the memory consumption of my nodes with Grafana and get an alert when the node exceeds 24 Gb or crashes.
Expected behavior
The cardano-node stays within the range of 16 - 24 Gb memory consumption, one shouldn't be forced to run with the disk option when they have memory enough to run it comfortably in memory.
Screenshots and attachments
Can provide if required, but I think on the above you should have enough to reproduce the behavior.
Additional context
It seems the node was not tested well and rushed out to fix an issue, or assuming everyone runs on local storage instead of memory.
- 主要言語
- Haskell
- スター
- 3.2k
- フォーク
- 762
- 平均マージ
- 2日 9時間
- マージ済み PR(30日)
- 19
環境構築
- Dockerfile または Docker Compose ファイルあり
- プルリクエストのテンプレートあり
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
IntersectMBO/cardano-node のほかの issue
-
Stale
難易度 1/5 1〜3時間 初心者へのやさしさ 75/100
IntersectMBO/cardano-node#6597 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
Stale
難易度 1/5 1〜3時間 初心者へのやさしさ 72/100
IntersectMBO/cardano-node#6578 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
IntersectMBO/cardano-node#6522 · コメント 3 件 ·
メンテナーはふだん 1 日以内に返信
-
needs triage type: enhancement
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
IntersectMBO/cardano-node#6737 ·
メンテナーはふだん 1 日以内に返信
-
難易度 4/5 3〜5日 初心者へのやさしさ 28/100
IntersectMBO/cardano-node#6718 · コメント 3 件 ·
メンテナーはふだん 1 日以内に返信
IntersectMBO/cardano-node の issue をすべて見る
似ている issue
-
documentation
難易度 1/5 1時間未満 初心者へのやさしさ 92/100
alunduil/collection-json.hs#421 ·
メンテナーはふだん 1 日以内に返信
-
A `where` step with a misspelled key, such as `arg:` for `args:`, is accepted, so `join` silently answers no bindings (src/Yaml.hs:190)対応中かも @sherenkov が 1 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
objectionary/phino#1994 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
alunduil/siren-json.hs#259 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
-
enhancement triage
難易度 1/5 1時間未満 初心者へのやさしさ 77/100
simplex-chat/simplex-chat#7781 ·
メンテナーはふだん 1 日以内に返信