Problem forwarding batchtools resources to individual futures
还没有人认领这个 Issue。
评估
- 难度
- 3/5
- 预计耗时
- 1-2 天
- 新手友好度
- 38/100
- Issue 类型
- 缺陷
- 描述清晰度
- 基本清楚
- 活跃度
- 停滞
- 技术栈
- r
调研方向
从可复现示例中的 BatchtoolsFuture() 入口点和 future() 调用开始，然后检查资源如何进入 batchtools 提交。使用 sge_batchtools.tmpl 和 SGE 示例重现缺失的 slots 值。当 resources = list(slots = 2) 到达提交端，使作业请求两个 slots 时，即表示完成。
由索引模型根据 Issue 内容生成。
描述
Summary
When I supply a resources list to a batchtools future, the resources seem to be ignored. I was alerted to this via targets, https://github.com/ropensci/targets/discussions/562#discussioncomment-1304379 and https://github.com/ropensci/targets/discussions/632 (cc @wresch, @sdechaumet)
Reproducible example
Using an SGE cluster with this template:
#!/bin/bash
#$ -cwd
#$ -j y
#$ -o <%= log.file %>
#$ -V
#$ -N <%= job.name %>
#$ -pe smp <%= resources$slots %>
module load R/4.0.3
Rscript -e 'batchtools::doJobCollection("<%= uri %>")'
exit 0
R console:
library(future)
library(future.batchtools)
plan(batchtools_sge, template = "sge_batchtools.tmpl")
f <- future(Sys.sleep(5), resources = list(slots = 2))
# Error: Fatal error occurred: 101. Command 'qsub' produced exit code 2. Output: 'Unable to read script file because of error: ERROR! -pe option must have range as 2nd argument'
When I run debug(BatchtoolsFuture) on this example, I see that resources = list(slots = 2) is not actually passed to the BatchtoolsFuture() function. BatchtoolsFuture() appears to receive the default resources = list().
Expected behavior
An SGE job with 2 slots should be submitted.
Session information
I am using the following commits of future and future.batchtools:
- https://github.com/HenrikBengtsson/future/commit/344a97f1cc85283095a43fe01cfabf3fb33fdf70
- https://github.com/HenrikBengtsson/future.batchtools/commit/ea3b86cbc6b30f62f78cfd9ef7c5a64f5d42e683
> sessionInfo()
R version 4.0.3 (2020-10-10)
Platform: x86_64-pc-linux-gnu (64-bit)
Running under: Red Hat Enterprise Linux
Matrix products: default
BLAS/LAPACK: <CENSORED>
locale:
[1] LC_CTYPE=en_US.UTF-8 LC_NUMERIC=C
[3] LC_TIME=en_US.UTF-8 LC_COLLATE=en_US.UTF-8
[5] LC_MONETARY=en_US.UTF-8 LC_MESSAGES=en_US.UTF-8
[7] LC_PAPER=en_US.UTF-8 LC_NAME=C
[9] LC_ADDRESS=C LC_TELEPHONE=C
[11] LC_MEASUREMENT=en_US.UTF-8 LC_IDENTIFICATION=C
attached base packages:
[1] stats graphics grDevices utils datasets methods base
other attached packages:
[1] future.batchtools_0.10.0-9000 future_1.22.1-9000
loaded via a namespace (and not attached):
[1] parallelly_1.28.1 magrittr_2.0.1 hms_1.1.0 progress_1.2.2
[5] rappdirs_0.3.3 debugme_1.1.0 R6_2.5.1 brew_1.0-6
[9] rlang_0.4.11 fansi_0.5.0 globals_0.14.0 tools_4.0.3
[13] parallel_4.0.3 checkmate_2.0.0 data.table_1.14.0 utf8_1.2.2
[17] withr_2.4.2 ellipsis_0.3.2 base64url_1.4 digest_0.6.27
[21] tibble_3.1.4 lifecycle_1.0.0 crayon_1.4.1 fs_1.5.0
[25] vctrs_0.3.8 batchtools_0.9.15 codetools_0.2-18 stringi_1.7.4
[29] pillar_1.6.2 compiler_4.0.3 backports_1.2.1 prettyunits_1.1.1
[33] listenv_0.8.0 pkgconfig_2.0.3
- 主要语言
- R
- 星标
- 87
- 派生
- 10
- PR 合并指标
- 30 天内没有已合并 PR
环境准备
- 没有 Dockerfile 或 Docker Compose 文件
- 没有 Pull Request 模板
- 阅读贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
futureverse/future.batchtools 的其他 Issue
-
feature/resources scheduler/lsf
难度 2/5 1-3 小时 新手友好度 68/100
futureverse/future.batchtools#105 ·
-
feature/resources scheduler/sge
难度 4/5 3-5 天 新手友好度 50/100
futureverse/future.batchtools#104 · 1 条评论 ·
-
feature/resources scheduler/slurm
难度 3/5 1-2 天 新手友好度 66/100
futureverse/future.batchtools#103 ·
-
难度 2/5 1-3 小时 新手友好度 55/100
futureverse/future.batchtools#102 ·
-
难度 4/5 3-5 天 新手友好度 15/100
查看 futureverse/future.batchtools 的全部 Issue
相似的 Issue
-
Write an exception for delayed NYC data only可能已有人在做 @kaitejohnson 今天认领。 未关闭
难度 2/5 1-3 小时 新手友好度 74/100
-
难度 2/5 1-3 小时 新手友好度 78/100
-
难度 2/5 1-3 小时 新手友好度 76/100
-
New `filter_out()` requires dplyr >= 1.2.0可能已有人在做 @jameslairdsmith 今天认领。 未关闭
难度 1/5 1 小时以内 新手友好度 74/100
-
难度 1/5 1 小时以内 新手友好度 78/100