Using AnnotationHub with job schedular causes an error
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 35/100
Hướng nghiên cứu
Bắt đầu với ah.R và quá trình khởi tạo AnnotationHub(), sau đó tái hiện lỗi bằng Snakefile được cung cấp trên OpenGridEngine hoặc Slurm. Theo dõi phần thiết lập cơ sở dữ liệu bộ nhớ đệm liên quan đến các cảnh báo đã báo cáo về cache_size, synchronous và việc tải xuống; được xem là hoàn tất khi các job song song có thể truy xuất và lưu tài nguyên mà không gặp lỗi cơ sở dữ liệu chỉ-đọc.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
When using AnnotationHub in parallel with job schedular (OpenGridEngine and Slurm), whether a job can be calculated was stochastical and some jobs were failed with the error attempt to write a readonly database.
I don't know why but since some jobs can be calculated,
by performing the job queue, again and again, I could finally get the output.
As an alternative approach, by not using the job schedular,
I could perform the calculation without any error,
but it takes an enormous amount of time, so I want to know the reason for the error.
I wrote an Snakefile as follows:
rule all:
input:
expand('{id}.RData', id=list(range(24)))
rule ah:
output:
'{id}.RData'
log:
'logs/{id}.log'
shell:
'Rscript ah.R {id} >& {log}'
wrote the R-script (ah.R) as follows:
outfile = commandArgs(trailingOnly=TRUE)[1]
library("AnnotationHub")
ah = AnnotationHub()
id = names(ah)[sample(length(ah), 1)]
out = ah[[id]]
save(out, file=outfile)
and finally performed the snakemake workflow as follows:
# OpenGridEngine
snakemake -j 24 --cluster "qsub -S /bin/bash"
or
# Slurm
snakemake -j 24 --cluster sbatch
The error message was as follows:
Loading required package: BiocFileCache
Loading required package: dbplyr
snapshotDate(): 2019-10-29
downloading 1 resources
retrieving 1 resource
Error: failed to load resource
name: AH39322
title: E031-H3K23me2.imputed.pval.signal.bigwig
reason: 1 resources failed to download
In addition: Warning messages:
1: Couldn't set cache size: attempt to write a readonly database
Use `cache_size` = NULL to turn off this warning.
2: Couldn't set synchronous mode: attempt to write a readonly database
Use `synchronous` = NULL to turn off this warning.
3: download failed
hub path: ‘https://annotationhub.bioconductor.org/fetch/44762’
cache resource: ‘AH39322 : 44762’
reason: attempt to write a readonly database
Execution halted
- Ngôn ngữ chính
- R
- Star
- 20
- Fork
- 16
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của Bioconductor/AnnotationHub
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 55/100
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 45/100
Bioconductor/AnnotationHub#68 · 1 bình luận ·
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100
Bioconductor/AnnotationHub#67 · 1 bình luận ·
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 15/100
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 35/100
Bioconductor/AnnotationHub#65 · 1 bình luận ·
Tất cả issue của Bioconductor/AnnotationHub
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
easystats/performance#950 ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
briandconnelly/airnow#9 ·
-
Copy cohorts to keep old cohorts Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
OHDSI/CohortConstructor#774 ·
-
Ensure HTTPS is enabled Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 65/100