[BUG] - Cardano-node 11.1.3 crashes due to increasing memory consumption
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 44/100
- Tipo di issue
- Bug
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Attiva
- Stack tecnologico
- docker, docker-compose, grafana, haskell
- Ambito
- backend, performance
Direzione di ricerca
Start by comparing cardano-node 11.1.3 with 11.1.2 under the reported Docker setup, using docker stats to track memory and the supplied RTS options. The issue does not identify a source file or failing test, so tracing the memory growth will require familiarity with the node. Done means reproducing and locating the regression and confirming memory stays within the reported 16–24 GB range.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
External
Area
Other cardano-node 11.1.3
Summary
cardano-node 11.1.3 consumes over 28 Gb memory within 6 hours , exhausts resources and crashes (restarts my container). This is on a bare metal machine with 64 Gb memory running two nodes. On the same machine running one node this problem doesn't occur. But it should never consume more than 28 Gb memory in the first place and the memory consumption crawls up over time.
Running this in my own docker environment on basis of Debian-Slim. Switching back to cardano-node 11.1.2 shows that the node stays within the 24Gb memory with the same docker environment, just change of the binary.
So there is definitely a problem with Cardano-node 11.1.3 binary.
Steps to reproduce
I think it should be easy to reproduce on your end by monitoring the memory or by installing two nodes on a machine with 64 Gb and restricting the container with the following settings in .env NODE_MEM_LIMIT=32g
NODE_MEM_RESERVATION=28g and under services relay in docker-compose.yaml
services:
relay:
mem_limit: ${NODE_MEM_LIMIT:-0}
mem_reservation: ${NODE_MEM_RESERVATION:-0}
I increased the values of NODE-MEM-LIMIT and NODE_MEM_RESERVATION because of this bug, but this didn't help still crashing the node after exhausting the memory.
cardano-node started with the following rts_opts="${RTS_OPTS:--N4 -xn -T -A128m -n1m -I0.3 -Iw3600 -F1.5 -H8000m}"
I switched back to cardano-node 11.1.2 with the exact same setup and settings and it stays within the boundaries of 24 Gb memory consumption, the memory consumption doesn't crawl up like with cardano-node 11.1.3
Checked memory consumption with: docker stats --no-stream
Monitoring the memory consumption of my nodes with Grafana and get an alert when the node exceeds 24 Gb or crashes.
Expected behavior
The cardano-node stays within the range of 16 - 24 Gb memory consumption, one shouldn't be forced to run with the disk option when they have memory enough to run it comfortably in memory.
Screenshots and attachments
Can provide if required, but I think on the above you should have enough to reproduce the behavior.
Additional context
It seems the node was not tested well and rushed out to fix an issue, or assuming everyone runs on local storage instead of memory.
- Lingua principale
- Haskell
- Stelle
- 3.2k
- Fork
- 762
- Merge medio
- 2g 9h
- PR unite (30g)
- 19
Preparare l'ambiente
- Include un Dockerfile o un file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di IntersectMBO/cardano-node
-
Stale
Difficoltà 1/5 1-3 ore Idoneità per principianti 75/100
IntersectMBO/cardano-node#6597 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Stale
Difficoltà 1/5 1-3 ore Idoneità per principianti 72/100
IntersectMBO/cardano-node#6578 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
IntersectMBO/cardano-node#6522 · 3 commenti ·
I maintainer di solito rispondono entro 1 giorno
-
needs triage type: enhancement
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
IntersectMBO/cardano-node#6737 ·
I maintainer di solito rispondono entro 1 giorno
-
increase in memory usageAperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 28/100
IntersectMBO/cardano-node#6718 · 2 commenti ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di IntersectMBO/cardano-node
Issue simili
-
Build error?Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
lolepezy/rpki-prover#367 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
run-peras-testnet traps ^C when running the cleanup trapForse già presa @isovector l’ha presa 1 giorno fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100
tweag/cardano-kosmos#35 ·
I maintainer di solito rispondono entro 1 giorno
-
`--arg` for a `bytesN`, `bytes`, `string` or array argument crashes with `Internal Error: TODO`Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 77/100
I maintainer di solito rispondono entro 1 giorno
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
compiler-explorer/compiler-explorer#9308 ·
I maintainer di solito rispondono entro 1 giorno
-
[Bug]: Crash in ChatModel.addTerminalItem (IndexOutOfBoundsException: toIndex = 201) when commands are sent concurrentlyForse già presa Una pull request collegata a questa issue è aperta o già unita. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
simplex-chat/simplex-chat#7755 ·
I maintainer di solito rispondono entro 1 giorno