BiocParallel does not keep logs during job failure
@nturaga đang làm issue này rồi.
Từ ngày 6/9/2019.
Đánh giá
Issue này chưa được đánh giá.
Mô tả
Hello,
I am currently running a parallel jobs (with bplapply) on an LSF cluster using BatchToolsParam and I found an issue where there are no logs produced in runs that have a few jobs failing.
Here is the error log from the failed run:
Quitting from lines 86-88 (demultiplex.Rmd)
Error in .reduceResultsList(ids, fun, ..., missing.val = missing.val, :
All jobs must be have been successfully computed
Calls: <Anonymous> ... bplapply -> bplapply -> <Anonymous> -> .reduceResultsList
Execution halted
When I tried to check the logs from the batchtools jobs, I noticed that there was no logs being produced at all which made figuring out the reason for the job failures difficult. I eventually managed to capture the logs manually by copying the temporary registry directory before the bplapply job finishes, where I found that the cause of the job failure is due to a missing executable in a few of the cluster nodes, resulting in the job exiting before R was even executed.
It would be really useful to actually be able to get the logs from the batchtools jobs even if some of the jobs failed to execute R, especially in LSF cluster as the logs contain the job execution information.
- Ngôn ngữ chính
- R
- Star
- 69
- Fork
- 32
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Chuẩn bị môi trường
Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của Bioconductor/BiocParallel
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 65/100
Bioconductor/BiocParallel#286 · 1 bình luận ·
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 50/100
Bioconductor/BiocParallel#285 ·
-
futile.logger may be archived from CRANCó thể làm lại được @Jiefei-Wang đã nhận 268 ngày trước và không có pull request nào đang mở. Đang mở
Bioconductor/BiocParallel#284 · 2 bình luận · 1 người được giao ·
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100
Bioconductor/BiocParallel#283 · 2 bình luận ·
-
DoparParam: Captured stdout is relayed to stdout for some foreach adapters and stderr for othersĐang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100
Bioconductor/BiocParallel#277 ·
Tất cả issue của Bioconductor/BiocParallel
Issue tương tự
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 90/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
ImperialCollegeLondon/ve_data_science#666 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 92/100
Maintainer thường phản hồi trong vòng 13 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 90/100