Delayed progress updates to file due to file-system buffering [Was: No near-live progress update when running on a SLURM cluster]
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 38/100
- issue の種類
- バグ
- 明瞭さ
- おおむね明確
- 活発さ
- 停滞
- 技術スタック
- r
調査の方向性
まず、test.sh で定義されている SLURM ジョブを通じて test.R の再現可能なセットアップを実行し、ファイルのライブ出力とターミナル出力を比較します。進捗更新がどのように出力され、slurm.out に書き込まれるかを追跡し、次に、ジョブの実行中に報告された進捗が表示されることを確認し、リポジトリにこの動作のカバレッジがある場合は回帰テストを追加します。
索引モデルが issue の本文から書いたものです。
説明
I want to run a loop in parallel on a SLURM cluster and use progressr to output near-live updates. Here's my setup:
test.R
library("future")
library("furrr")
library("progressr")
options(progressr.enable = TRUE)
handlers(global = TRUE)
handlers(handler_progress(
format = ":current/:total [:bar] :percent in :elapsed, ETA: :eta",
width = 60,
complete = "="
))
plan(cluster)
f <- function(i) {
Sys.sleep(3)
i
}
local({
n <- 100
p <- progressor(n)
result <- future_map(1:n, function(i){
p(class = "sticky")
f(i)
})
})
test.sh
#!/bin/bash
#SBATCH --time=0-00:05:00
#SBATCH --ntasks 10
#SBATCH --output=slurm.out
Rscript test.R
The issue is that when the job is running, cat slurm.out always shows
0/100 [--------------------------------------------------] 0% in 0s, ETA: ? and no live progress is reported. How can I get it to show the current progress?
I have read this discussion on getting a progress bar using future.batchtools and that thread on printing messages to the console when they are generated, but I can't get it to work. Is this a bug?
- 主要言語
- R
- スター
- 299
- フォーク
- 11
- PR マージ指標
- 30日以内にマージされた PR はありません
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートなし
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
futureverse/progressr のほかの issue
-
feature request
難易度 4/5 3〜5日 初心者へのやさしさ 30/100
futureverse/progressr#199 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 45/100
futureverse/progressr#197 ·
-
難易度 3/5 1〜2日 初心者へのやさしさ 55/100
futureverse/progressr#195 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 28/100
futureverse/progressr#191 ·
-
question
難易度 3/5 1〜2日 初心者へのやさしさ 35/100
futureverse/progressr#155 · コメント 5 件 ·
futureverse/progressr の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 62/100
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
stan-dev/priorsense#150 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 62/100
xuzhougeng/wisp-science#1571 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
-
難易度 2/5 1〜3時間 初心者へのやさしさ 66/100
bennettoxford/opencodecounts#170 ·