[BUG] - Cardano-node 11.1.3 crashes due to increasing memory consumption
Maintainer thường phản hồi trong vòng 1 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 44/100
- Loại issue
- Lỗi
- Độ rõ ràng
- Khá rõ ràng
- Mức độ hoạt động
- Sôi nổi
- Công nghệ
- docker, docker-compose, grafana, haskell
- Lĩnh vực
- backend, performance
Hướng nghiên cứu
Start by comparing cardano-node 11.1.3 with 11.1.2 under the reported Docker setup, using docker stats to track memory and the supplied RTS options. The issue does not identify a source file or failing test, so tracing the memory growth will require familiarity with the node. Done means reproducing and locating the regression and confirming memory stays within the reported 16–24 GB range.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
External
Area
Other cardano-node 11.1.3
Summary
cardano-node 11.1.3 consumes over 28 Gb memory within 6 hours , exhausts resources and crashes (restarts my container). This is on a bare metal machine with 64 Gb memory running two nodes. On the same machine running one node this problem doesn't occur. But it should never consume more than 28 Gb memory in the first place and the memory consumption crawls up over time.
Running this in my own docker environment on basis of Debian-Slim. Switching back to cardano-node 11.1.2 shows that the node stays within the 24Gb memory with the same docker environment, just change of the binary.
So there is definitely a problem with Cardano-node 11.1.3 binary.
Steps to reproduce
I think it should be easy to reproduce on your end by monitoring the memory or by installing two nodes on a machine with 64 Gb and restricting the container with the following settings in .env NODE_MEM_LIMIT=32g
NODE_MEM_RESERVATION=28g and under services relay in docker-compose.yaml
services:
relay:
mem_limit: ${NODE_MEM_LIMIT:-0}
mem_reservation: ${NODE_MEM_RESERVATION:-0}
I increased the values of NODE-MEM-LIMIT and NODE_MEM_RESERVATION because of this bug, but this didn't help still crashing the node after exhausting the memory.
cardano-node started with the following rts_opts="${RTS_OPTS:--N4 -xn -T -A128m -n1m -I0.3 -Iw3600 -F1.5 -H8000m}"
I switched back to cardano-node 11.1.2 with the exact same setup and settings and it stays within the boundaries of 24 Gb memory consumption, the memory consumption doesn't crawl up like with cardano-node 11.1.3
Checked memory consumption with: docker stats --no-stream
Monitoring the memory consumption of my nodes with Grafana and get an alert when the node exceeds 24 Gb or crashes.
Expected behavior
The cardano-node stays within the range of 16 - 24 Gb memory consumption, one shouldn't be forced to run with the disk option when they have memory enough to run it comfortably in memory.
Screenshots and attachments
Can provide if required, but I think on the above you should have enough to reproduce the behavior.
Additional context
It seems the node was not tested well and rushed out to fix an issue, or assuming everyone runs on local storage instead of memory.
- Ngôn ngữ chính
- Haskell
- Star
- 3.2k
- Fork
- 763
- Merge trung bình
- 2 ngày 9 giờ
- Pull request đã merge (30 ngày)
- 19
Chuẩn bị môi trường
- Có Dockerfile hoặc tệp Docker Compose
- Có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của IntersectMBO/cardano-node
-
Stale
Độ khó 1/5 1-3 giờ Mức phù hợp với người mới 75/100
IntersectMBO/cardano-node#6597 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Stale
Độ khó 1/5 1-3 giờ Mức phù hợp với người mới 72/100
IntersectMBO/cardano-node#6578 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
IntersectMBO/cardano-node#6522 · 3 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
needs triage type: enhancement
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
IntersectMBO/cardano-node#6737 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
increase in memory usageĐang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 28/100
IntersectMBO/cardano-node#6718 · 3 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của IntersectMBO/cardano-node
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
objectionary/phino#2021 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 67/100
ndmitchell/ghcid#429 ·
-
documentation
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 92/100
alunduil/collection-json.hs#421 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
alunduil/siren-json.hs#259 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100