Pack per-exposure intermediates so a Nibi campaign fits the 1M-file quota
Maintainer thường phản hồi trong vòng 1 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 52/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Khá rõ ràng
- Mức độ hoạt động
- Sôi nổi
- Công nghệ
- python
- Lĩnh vực
- infrastructure
Hướng nghiên cứu
Start from the code that writes each exposure store (the ~1,000 files per store) and the run-plan planner that projects file counts — the smk-p3a (330 tiles, ~443K files) and 1,085-tile (1.22M files) figures come from there. Inventory every consumer that reads those intermediates, since any packing change must update them too. Done looks like: the planner's projection for a 1,085-tile campaign lands under the 1M-file quota, with byte limits untouched, and the pipeline still runs end-to-end on an existing campaign.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
On Nibi, a campaign's size is capped by the scratch file quota, not by disk space. The hard limit is 1M files per user, and each exposure store holds about 1,000 files. smk-p3a (330 tiles) was planned at about 443K files. The largest single campaign the planner can make, 1,085 tiles, projects to about 1.22M files, over the limit.
Pack each exposure's intermediates into a few files: a tar or zip per store, or HDF5 for the per-CCD products. Then one campaign can cover far more sky and the run plan needs fewer campaigns. The byte limits (1 TB soft, 20 TB hard) are not a constraint.
Claude Opus 5.5 on behalf of Cail. From the 3x2pt telecon, 6 Oct 2026.
- Ngôn ngữ chính
- Python
- Star
- 18
- Fork
- 14
- Merge trung bình
- 3 ngày 22 giờ
- Pull request đã merge (30 ngày)
- 38
Chuẩn bị môi trường
- Có Dockerfile hoặc tệp Docker Compose
- Có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của CosmoStat/shapepipe
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 85/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 18/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Keep exposure stores node-local in single-allocation runs; persist only per-exposure productsCó thể đã có người làm Có pull request liên kết đang mở hoặc đã được merge. Đang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 18/100
Maintainer thường phản hồi trong vòng 1 ngày
-
PSF star selection: survey other surveys' methods (MU_MAX−MAG_AUTO, colour)Có thể đã có người làm @calumhrmurray đã nhận 4 ngày trước. Đang mở
CosmoStat/shapepipe#950 · 1 người được giao ·
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của CosmoStat/shapepipe
Issue tương tự
-
area: desktop area: website priority: P2 type: feature
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 62/100
appandflow/stim#3411 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
bug
Độ khó 2/5 Dưới một giờ Mức phù hợp với người mới 88/100
baptistehamon/lsapy#185 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
PolicyEngine/policyengine-us#10073 ·
Maintainer thường phản hồi trong vòng 2 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
syedhamidali/radarx#277 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
Arekkazu/sgpmp-backend#549 ·
Maintainer thường phản hồi trong vòng 1 ngày