Very slow scheduling
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 25/100
- Loại issue
- Lỗi
- Độ rõ ràng
- Cần làm rõ
- Mức độ hoạt động
- Đình trệ
- Công nghệ
- r
- Lĩnh vực
- distributed-systems, hpc
Hướng nghiên cứu
Bắt đầu bằng việc xem lại tài liệu về tùy chọn scheduling và mọi flag verbose hoặc trace. Tái hiện báo cáo bằng các job nhỏ trên Slurm, so sánh các giá trị scheduling và độ trễ khởi chạy. Được coi là hoàn tất khi đã xác định được nguyên nhân của scheduling chậm và làm rõ hành vi phù hợp hoặc tài liệu.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
I am sorry to not have a reproducible example yet. My code base is very large and was running just fine until the job size became small. So I'll make a reproducible example after hearing some suggestions on what to test. In my case, the jobs are rather small - 10s each. The problem I'm seeing is they don't get scheduled very quickly. In fact, at any given time only one slurm job, or at most two, are running (the machine they are running on can run ~15 jobs by ram and cpu requirements). I'm trying to run 60 chunks, and to resolve this problem I set scheduling to 5, which did bump up the number of running jobs to 2-3. However, the main problem is that the chunks seem to take 10-15 seconds to launch, and I don't know what I changed - a few days ago, with larger jobs - this was not the case. So to my specific questions, before I try to generate a small reproducible example:
- Is there a verbose/trace flag? I can't see it in the documentation
- Is there anything to pay attention to beyond the "scheduling" option? Any hunch for what may be causing this issue for me to start looking at in generating an example?
- Ngôn ngữ chính
- R
- Star
- 87
- Fork
- 10
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Không có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của futureverse/future.batchtools
-
feature/resources scheduler/lsf
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
futureverse/future.batchtools#105 ·
-
feature/resources scheduler/sge
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 50/100
futureverse/future.batchtools#104 · 1 bình luận ·
-
feature/resources scheduler/slurm
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 66/100
futureverse/future.batchtools#103 ·
-
Add batchtools_hyperqueue()Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 55/100
futureverse/future.batchtools#102 ·
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 15/100
Tất cả issue của futureverse/future.batchtools
Issue tương tự
-
Component: R
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
Maintainer thường phản hồi trong vòng 2 ngày
-
bug pixi-build-r
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100
prefix-dev/pixi#7229 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
rstudio/reticulate#1933 ·
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 62/100