Warn users if multicore summarise_draws risks exhausting available ram
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 45/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Ferma
- Stack tecnologico
- r
- Ambito
- performance
Direzione di ricerca
Inizia dal percorso multicore di summarise_draws e verifica come vengono dichiarate le dipendenze dei pacchetti, in particolare se memuse può essere aggiunto come dipendenza suggerita. Definisci il comportamento dell'avviso sulla RAM e dell'opzione di esclusione descritto nell'issue, quindi verifica che le esecuzioni multicore emettano un avviso quando la memoria stimata supera la RAM disponibile e procedano quando la sicurezza è disabilitata.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
My first big test of multicore summarise_draws on a really big (~9 GB in memory) array plowed straight into the swap on my 40 GB machine and I had to kill it. Second test, after reducing cores from 4 to 3, was awesome!
If a naive user runs their big model for days and then overenthusiastically runs summarise_draws prior to saving, they could be in a world of hurt.
Given that the main use case for multicore processing with summarise_draws involves really big draws arrays, we could consider adding a .ram_safety = TRUE argument, and then doing:
if (.cores > 1 & .ram_safety & (memuse::memuse(object.size(x)) > (memuse::Sys.meminfo()$totalram / (.cores + 1)))) {
warning(paste("The memory requirements of multi-core processing with", .cores, "cores may exceed the RAM on your system.",
"Consider using fewer cores. If you wish to proceed with", .cores, "cores, set `.ram_safety = FALSE`",
"and save any important objects prior to running."))
} else {
# Do the computation
}
Main drawback is the extra package requirement for multicore (which could go in suggests).
- Lingua principale
- R
- Stelle
- 172
- Fork
- 27
- Merge medio
- 5g 12h
- PR unite (30g)
- 5
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di stan-dev/posterior
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
-
Use testthat 3eForse già presa @mcol l’ha presa 7 giorni fa. Apertagood first issue test
Difficoltà 3/5 1-2 giorni Idoneità per principianti 65/100
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
Tutte le issue di stan-dev/posterior
Issue simili
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 68/100
cran-task-views/Spatial#127 · 1 commento ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
I maintainer di solito rispondono entro 1 giorno
-
Add two cautions to the `simulate_dyad_responses()` helpForse già presa Una pull request collegata a questa issue è aperta o già unita. Apertadocumentation priority: low
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
Pascal-Kueng/dyadMLM#179 ·
I maintainer di solito rispondono entro 1 giorno
-
Consider changesAperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
OHDSI/OmopSketch#618 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
GSK-Biostatistics/tfrmt#854 ·