steps to speed up job submission?
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 20/100
- Loại issue
- Tài liệu
- Độ rõ ràng
- Cần làm rõ
- Mức độ hoạt động
- Đình trệ
- Công nghệ
- r
- Lĩnh vực
- distributed-systems, hpc
Hướng nghiên cứu
Bắt đầu với tài liệu future.batchtools về việc gửi job, phân bổ SLURM, khởi động worker và xử lý dependency. Tái hiện độ trễ được báo cáo bằng một lô job nhỏ, sau đó truy vết xem giai đoạn nào chiếm khoảng thời gian đó. Được xem là hoàn tất khi trình tự gửi và các tùy chọn cấu hình liên quan được giải thích, hoặc một vấn đề hiệu năng cụ thể được xác định.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
I'm using future.batchtools via drake, and just got my first plan running on the cluster. It seems to take about one minute for each job submitted, and since I'm trying to submit several hundred jobs, that's not ideal (although it's not a deal-breaker, because I expect each job to take many hours to finish). I'm not sure what I might be able to change in order to speed this up. I haven't dived into the code, but my idea of what needs to happen to start a worker is:
- analyse the code to find dependencies
- submit the job to the scheduler (SLURM in my case)
- wait for the job to be allocated
- wait for the worker to start up (and load libraries?)
- send data to the worker (and libraries?)
Is this basically accurate?
Does the worker load libraries already installed on its node, or are all libraries sent to the worker by the master? If the latter, then reducing library dependencies seems like a potential avenue to try.
- Ngôn ngữ chính
- R
- Star
- 87
- Fork
- 10
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của futureverse/future.batchtools
-
feature/resources scheduler/lsf
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
futureverse/future.batchtools#105 ·
-
feature/resources scheduler/sge
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 50/100
futureverse/future.batchtools#104 · 1 bình luận ·
-
feature/resources scheduler/slurm
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 66/100
futureverse/future.batchtools#103 ·
-
Add batchtools_hyperqueue() Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 55/100
futureverse/future.batchtools#102 ·
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 15/100
Tất cả issue của futureverse/future.batchtools
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
easystats/performance#950 ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
briandconnelly/airnow#9 ·
-
Copy cohorts to keep old cohorts Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
OHDSI/CohortConstructor#774 ·
-
pre-review R TeX Track: 5 (DSAIS)
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 60/100
openjournals/joss-reviews#11330 · 7 bình luận ·