setting 1 job per worker core after chunking the elements
还没有人认领这个 Issue。
评估
- 难度
- 5/5
- 预计耗时
- 一周以上
- 新手友好度
- 32/100
- Issue 类型
- 功能
- 描述清晰度
- 基本清楚
- 活跃度
- 停滞
- 技术栈
- r
调研方向
先从 issue 中的 future::tweak(... batchtools_sge ...) 计划和 furrr::future_map 示例开始,然后检查 resources[["slots"]] 如何通过 batchtools.sge-mrg.tmpl 传递。完成的标准是确定 native chunking 是否能够在 worker 和 core 之间分配 16 个元素,并记录受支持的行为或要求。
由索引模型根据 Issue 内容生成。
描述
I am using an sge template.
Is there a native way in future plan to have elements of a list be allocated to each available core in preset number of workers (ie chunking the list)?
ie if i have a workers with 8 cores and a vector (x) of length 16, i want future to send each element to a core on the workers to run in parallel. (assuming i am sending out jobs from the remote master)
sge <- future::tweak(
future.batchtools::batchtools_sge,
template = 'batchtools.sge-mrg.tmpl',
workers = 2,
resources = list(slots = 1)
)
future::plan(list(sge))
x <- vector('list',16)
ret <- furrr::future_map(x, .f = foo)
#!/bin/bash
## The name of the job, can be anything, simply used when displaying the list of running jobs
#$ -N <%= job.name %>
## Combining output/error messages into one file
#$ -j y
## Giving the name of the output log file
#$ -o <%= log.file %>
## One needs to tell the queue system to use the current directory as the working directory
## Or else the script may fail as it will execute in your top level home directory /home/username
#$ -cwd
## Use environment variables
#$ -V
## Use correct queue
##$ -q all.q
#$ -pe smp <%= resources[["slots"]] %>
## Export value of DEBUGME environemnt var to slave
export DEBUGME=<%= Sys.getenv("DEBUGME") %>
<%= sprintf("export OMP_NUM_THREADS=%i", resources$omp.threads) -%>
<%= sprintf("export OPENBLAS_NUM_THREADS=%i", resources$blas.threads) -%>
<%= sprintf("export MKL_NUM_THREADS=%i", resources$blas.threads) -%>
Rscript -e 'batchtools::doJobCollection("<%= uri %>")'
exit 0
cc @wlandau
- 主要语言
- R
- 星标
- 87
- 派生
- 10
- PR 合并指标
- 30 天内没有已合并 PR
贡献指南
从这里开始
- 先读完整个 Issue,再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库,在一个分支上完成修改。
- 提交 Pull Request,并在描述里引用这个 Issue 编号。
futureverse/future.batchtools 的其他 Issue
-
feature/resources scheduler/lsf
难度 2/5 1-3 小时 新手友好度 68/100
futureverse/future.batchtools#105 ·
-
feature/resources scheduler/sge
难度 4/5 3-5 天 新手友好度 50/100
futureverse/future.batchtools#104 · 1 条评论 ·
-
feature/resources scheduler/slurm
难度 3/5 1-2 天 新手友好度 66/100
futureverse/future.batchtools#103 ·
-
难度 2/5 1-3 小时 新手友好度 55/100
futureverse/future.batchtools#102 ·
-
难度 4/5 3-5 天 新手友好度 15/100
查看 futureverse/future.batchtools 的全部 Issue
相似的 Issue
-
Affects Web App documentation PRIORITY LOW
难度 2/5 1-3 小时 新手友好度 75/100
-
难度 2/5 1-3 小时 新手友好度 75/100
-
难度 1/5 1 小时以内 新手友好度 80/100
hubverse-org/hubCI#36 ·
-
难度 1/5 1 小时以内 新手友好度 85/100
-
Release 1.4.0 未关闭
难度 2/5 1-3 小时 新手友好度 70/100
pharmaverse/pharmaverseadam#170 ·