Pack per-exposure intermediates so a Nibi campaign fits the 1M-file quota
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 52/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Attiva
- Stack tecnologico
- python
- Ambito
- infrastructure
Direzione di ricerca
Start from the code that writes each exposure store (the ~1,000 files per store) and the run-plan planner that projects file counts — the smk-p3a (330 tiles, ~443K files) and 1,085-tile (1.22M files) figures come from there. Inventory every consumer that reads those intermediates, since any packing change must update them too. Done looks like: the planner's projection for a 1,085-tile campaign lands under the 1M-file quota, with byte limits untouched, and the pipeline still runs end-to-end on an existing campaign.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
On Nibi, a campaign's size is capped by the scratch file quota, not by disk space. The hard limit is 1M files per user, and each exposure store holds about 1,000 files. smk-p3a (330 tiles) was planned at about 443K files. The largest single campaign the planner can make, 1,085 tiles, projects to about 1.22M files, over the limit.
Pack each exposure's intermediates into a few files: a tar or zip per store, or HDF5 for the per-CCD products. Then one campaign can cover far more sky and the run plan needs fewer campaigns. The byte limits (1 TB soft, 20 TB hard) are not a constraint.
Claude Opus 5.5 on behalf of Cail. From the 3x2pt telecon, 6 Oct 2026.
- Lingua principale
- Python
- Stelle
- 18
- Fork
- 14
- Merge medio
- 2g 13h
- PR unite (30g)
- 35
Preparare l'ambiente
- Include un Dockerfile o un file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di CosmoStat/shapepipe
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 85/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100
I maintainer di solito rispondono entro 1 giorno
-
Workflow: sp run refreshes the code snapshot before the lock; re-clean erases exposure tombstones; missing run-dir undetectedForse già presa Una pull request collegata a questa issue è aperta o già unita. Aperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 18/100
CosmoStat/shapepipe#956 · 2 commenti ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di CosmoStat/shapepipe
Issue simili
-
Difficoltà 1/5 1-3 ore Idoneità per principianti 87/100
adri0/scadustats#128 ·
I maintainer di solito rispondono entro 1 giorno
-
`TIMESTAMP`, `TIMESTAMP_NTZ`, `TINYINT` and the other `TypeDecorator`s don't declare `python_type`Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
-
RPBCApertaawaiting policy acceptance precheck-passed
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 78/100
Bioconductor/BiocContributions#240 · 1 commento ·
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
I maintainer di solito rispondono entro 1 giorno
-
documentation good first issue launch
Difficoltà 2/5 1-3 ore Idoneità per principianti 83/100
FlologixAI/etchwork#4 ·