batchtools_slurm futures block (Was: stdout/stderr to log file only when using slurm?)
まだ誰も着手していません。
評価
調査の方向性
まず、Slurm クラスター上で future.batchtools を使って、示されている future() ループを再現し、出力処理のために言及されている split オプションを調査します。キャプチャされた出力を送信元のセッションが待機することなくジョブを送信でき、警告が Slurm のログファイルにのみ書き込まれれば完了です。
索引モデルが issue の本文から書いたものです。
説明
I have a loop like this:
for (i in 14:11) {
f <- future({
warning("Sleeping ", i, " seconds")
Sys.sleep(i)
saveRDS(i^2, paste0("tmp-data/res", i))
})
}
and I would to output the warning in the log files only.
I've seen the new option split in a blog post to do both (but I didn't find it in the documentation).
The problem is that capturing this output and returning it to the main session usually blocks my session for a long time (sometimes minutes), and I would like to avoid this.
Basically, is there any way to use future/future.batchtools just to submit jobs on a slurm cluster without returning anything to the session sending them?
- 主要言語
- R
- スター
- 87
- フォーク
- 10
- PR マージ指標
- 30日以内にマージされた PR はありません
コントリビューションガイド
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
futureverse/future.batchtools のほかの issue
-
feature/resources scheduler/lsf
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
futureverse/future.batchtools#105 ·
-
feature/resources scheduler/sge
難易度 4/5 3〜5日 初心者へのやさしさ 50/100
futureverse/future.batchtools#104 · コメント 1 件 ·
-
feature/resources scheduler/slurm
難易度 3/5 1〜2日 初心者へのやさしさ 66/100
futureverse/future.batchtools#103 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 55/100
futureverse/future.batchtools#102 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 15/100
futureverse/future.batchtools の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
easystats/performance#950 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
briandconnelly/airnow#9 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
OHDSI/CohortConstructor#774 ·
-
pre-review R TeX Track: 5 (DSAIS)
難易度 1/5 1時間未満 初心者へのやさしさ 60/100
openjournals/joss-reviews#11330 · コメント 7 件 ·