retrieve future expression on local machine
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 25/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Necesita aclaración
- Estado de actividad
- Estancado
- Stack tecnológico
- r
- Área
- distributed-systems, hpc
Línea de trabajo
Revisa el comportamiento de future.batchtools para el plan mostrado usando login, batchtools_lsf y multiprocess. Comienza con el ciclo de vida documentado de un future enviado y determina si los resultados pueden recuperarse después de que se cierre la sesión local de R o desde la máquina remota; documenta el comportamiento compatible y cualquier mecanismo de persistencia requerido.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Hi Henrik,
maybe that's utterly basic and the wrong place to ask, but I thought it might be of interest for more people:
Is there a way you can retrieve a future expressions in the following setup:
login <- tweak(remote, workers = "remote@remote")
bsub <- tweak(batchtools_lsf, ...)
plan(list(
login,
bsub,
multiprocess
))
and I submit the following job (just an example):
y %<-% furrr::future_map_dfr(1:5, function(x){
cores <- availableCores()
furrr::future_map_dfr(1:5, function(x){
tibble::tibble(x = x,
nodename = Sys.info()['nodename'],
Sys.getpid = Sys.getpid(),
availableCores = cores)
})
})
... let's imagine this takes an considerable amount of time and I would close my local r session in between submitting the job and its being finished.
After a login then (and rerunning the same plan again) I can't access y, neither can I access y on the remote machine in an R session. Is that possible in general?
If not, we wondered if you can save R objects somehow in an future_apply, submitted from a local machine and evaluated an a remote one?
Sorry for the very basic questions, just started to fiddle around with future.batchtools.
Cheers
Marco
- Lenguaje dominante
- R
- Estrellas
- 87
- Forks
- 10
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de futureverse/future.batchtools
-
feature/resources scheduler/lsf
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
futureverse/future.batchtools#105 ·
-
feature/resources scheduler/sge
Dificultad 4/5 3-5 días Aptitud para principiantes 50/100
futureverse/future.batchtools#104 · 1 comentario ·
-
feature/resources scheduler/slurm
Dificultad 3/5 1-2 días Aptitud para principiantes 66/100
futureverse/future.batchtools#103 ·
-
Add batchtools_hyperqueue() Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 55/100
futureverse/future.batchtools#102 ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 15/100
Todos los issues de futureverse/future.batchtools
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
easystats/performance#950 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
briandconnelly/airnow#9 ·
-
Copy cohorts to keep old cohorts Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
OHDSI/CohortConstructor#774 ·
-
pre-review R TeX Track: 5 (DSAIS)
Dificultad 1/5 Menos de una hora Aptitud para principiantes 60/100
openjournals/joss-reviews#11330 · 7 comentarios ·