steps to speed up job submission?

オープン

#36 2019年2月12日に作成コメント 13 件リアクション 0 件担当者 0 名 GitHub で見る

まだ誰も着手していません。

評価

難易度: 4/5
見積もり時間: 3〜5日
初心者へのやさしさ: 20/100

issue の種類: ドキュメント
明瞭さ: 説明が足りない
活発さ: 停滞
技術スタック: r
領域: distributed-systems, hpc

調査の方向性

ジョブの送信、SLURM の割り当て、worker の起動、依存関係の処理を扱っている future.batchtools のドキュメントから始めてください。少数のジョブで報告された遅延を再現し、その後、どの段階が時間の要因になっているかを追跡してください。送信シーケンスと関連する設定オプションが説明されるか、具体的なパフォーマンス問題が特定されれば完了です。

索引モデルが issue の本文から書いたものです。

説明

question

I'm using future.batchtools via drake, and just got my first plan running on the cluster. It seems to take about one minute for each job submitted, and since I'm trying to submit several hundred jobs, that's not ideal (although it's not a deal-breaker, because I expect each job to take many hours to finish). I'm not sure what I might be able to change in order to speed this up. I haven't dived into the code, but my idea of what needs to happen to start a worker is:

analyse the code to find dependencies
submit the job to the scheduler (SLURM in my case)
wait for the job to be allocated
wait for the worker to start up (and load libraries?)
send data to the worker (and libraries?)

Is this basically accurate?

Does the worker load libraries already installed on its node, or are all libraries sent to the worker by the master? If the latter, then reducing library dependencies seems like a potential avenue to try.

主要言語: R
スター: 87
フォーク: 10
PR マージ指標: 30日以内にマージされた PR はありません

コントリビューションガイド

コントリビューションガイドを開く

はじめの一歩

issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
リポジトリをフォークし、ブランチを切って変更します。
issue 番号を参照したプルリクエストを送ります。

futureverse/future.batchtools のほかの issue

LSF/OpenLava template: Signal SIGINT by default to allow R to catch it gracefully オープン

feature/resources scheduler/lsf

難易度 2/5 1〜3時間初心者へのやさしさ 68/100

futureverse/future.batchtools#105 · 2026年7月18日に作成
SGE template: Signal SIGINT by default to allow R to catch it gracefully オープン

feature/resources scheduler/sge

難易度 4/5 3〜5日初心者へのやさしさ 50/100

futureverse/future.batchtools#104 · コメント 1 件 · 2026年7月18日に作成
Slurm template: Signal SIGINT by default to allow R code to catch it gracefully オープン

feature/resources scheduler/slurm

難易度 3/5 1〜2日初心者へのやさしさ 66/100

futureverse/future.batchtools#103 · 2026年7月18日に作成
Add batchtools_hyperqueue() オープン

難易度 2/5 1〜3時間初心者へのやさしさ 55/100

futureverse/future.batchtools#102 · 2025年11月26日に作成
Template tools: export functions to find and render template オープン

難易度 4/5 3〜5日初心者へのやさしさ 15/100

futureverse/future.batchtools#86 · 2022年12月15日に作成

futureverse/future.batchtools の issue をすべて見る

似ている issue

print.check_outliers() mislabels thresholds when method is a combination given in non-canonical order オープン

難易度 2/5 1〜3時間初心者へのやさしさ 75/100

easystats/performance#950 · 2026年9月23日に作成
Adjust the cohort counts dissemination - only include cohorts in the manifest オープン

難易度 2/5 1〜3時間初心者へのやさしさ 70/100

OHDSI/Picard#129 · 2026年9月23日に作成
Unable to use 'start_time' 'end_time' params for get_airnow_monitors() オープン

難易度 2/5 1〜3時間初心者へのやさしさ 75/100

briandconnelly/airnow#9 · 2026年9月23日に作成
Copy cohorts to keep old cohorts オープン

難易度 2/5 1〜3時間初心者へのやさしさ 75/100

OHDSI/CohortConstructor#774 · 2026年9月23日に作成
Ensure HTTPS is enabled オープン

難易度 2/5 1〜3時間初心者へのやさしさ 65/100

scverse/anndataR#524 · 2026年9月23日に作成

R の issue をもっと見る