Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

retrieve: vos can't fetch data exposures: images, weights and flags sit in three vos dirs

Đang mở
  • Có gì không ổn?
#965 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
25/100
Loại issue
Lỗi
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
python, shell
Lĩnh vực
cloud, data

Hướng nghiên cứu

Start with workflow/config/cfis/config_exp_Gie.ini, where all three exposure inputs share one $SP_INPUT_EXPOSURES root, and with the retrieve: vos handling for inputs.exposures in the Python config code. The issue also names scripts/stage_block.sh and the nibi and candide profiles. Choosing between the per-kind roots (option 1) and the stage-first contract (option 2) is a maintainer decision, so the work is not settled yet. Done means the chosen option lets each exposure kind resolve to its own vos directory, or the docs and staging script reflect the stage-first contract.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

retrieve: vos cannot fetch the single exposures of a data run.

What breaks. workflow/config/cfis/config_exp_Gie.ini points all three exposure inputs at one root:

INPUT_PATH = $SP_INPUT_EXPOSURES, $SP_INPUT_EXPOSURES, $SP_INPUT_EXPOSURES
INPUT_FILE_PATTERN = 000000, 000000.weight, 000000.flag

On CADC the three kinds live in three vos directories: images in vos:cfis/pitcairn, weights in vos:cfis/weights, flags in vos:cfis/flags. With retrieve: vos, any single inputs.exposures URL leaves two of the three missing. (Tile images and catalogues are unaffected: they share vos:cfis/tiles_DR6.)

Why production hasn't hit it. The nibi profile uses retrieve: symlink against a staged mirror, /project/def-mjhudson/unions-wl/exposures, filled beforehand by a compute-node job (unions-wl/scripts/stage_block.sh, which runs vcp per kind; Nibi compute nodes reach CADC). The candide profile sets retrieve: vos but has no exposures input, so as written it would need one.

Options.

  1. One input root per file kind (inputs.exposures: {image: vos:cfis/pitcairn, weight: vos:cfis/weights, flag: vos:cfis/flags}, a string still meaning one root for all three), exported as three variables for Gie's INPUT_PATH.
  2. A documented "stage first" contract: data runs take a local mirror with retrieve: symlink, the staging script moves into the repo, and retrieve: vos is limited to tiles and catalogues.

Option 1 keeps retrieve: vos honest at little cost. Option 2 matches how the Nibi campaigns actually run (staging overlaps the previous batches, and a CADC hiccup fails a staging job rather than a 144-core batch).

Found by the Nibi scale-up runs (integration/smk-g18, 11 Oct).

Claude (Opus 5.5) on behalf of Cail.

Ngôn ngữ chính
Python
Star
18
Fork
14
Merge trung bình
2 ngày 10 giờ
Pull request đã merge (30 ngày)
37

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của CosmoStat/shapepipe

Tất cả issue của CosmoStat/shapepipe

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.