Pack per-exposure intermediates so a Nibi campaign fits the 1M-file quota
Maintainer antworten meist innerhalb von 1 Tag
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Anfängerfreundlichkeit
- 52/100
- Issue-Typ
- Feature
- Klarheit
- Größtenteils klar
- Aktivitätsstatus
- Aktiv
- Tech-Stack
- python
- Bereich
- infrastructure
Rechercherichtung
Start from the code that writes each exposure store (the ~1,000 files per store) and the run-plan planner that projects file counts — the smk-p3a (330 tiles, ~443K files) and 1,085-tile (1.22M files) figures come from there. Inventory every consumer that reads those intermediates, since any packing change must update them too. Done looks like: the planner's projection for a 1,085-tile campaign lands under the 1M-file quota, with byte limits untouched, and the pipeline still runs end-to-end on an existing campaign.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
On Nibi, a campaign's size is capped by the scratch file quota, not by disk space. The hard limit is 1M files per user, and each exposure store holds about 1,000 files. smk-p3a (330 tiles) was planned at about 443K files. The largest single campaign the planner can make, 1,085 tiles, projects to about 1.22M files, over the limit.
Pack each exposure's intermediates into a few files: a tar or zip per store, or HDF5 for the per-CCD products. Then one campaign can cover far more sky and the run plan needs fewer campaigns. The byte limits (1 TB soft, 20 TB hard) are not a constraint.
Claude Opus 5.5 on behalf of Cail. From the 3x2pt telecon, 6 Oct 2026.
- Vorherrschende Sprache
- Python
- Sterne
- 18
- Forks
- 14
- Ø Merge
- 3 T. 18 Std.
- Gemergte PRs (30 T.)
- 27
Entwicklungsumgebung
- Enthält ein Dockerfile oder eine Docker-Compose-Datei
- Hat eine Pull-Request-Vorlage
- Beitragsleitfaden lesen
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus CosmoStat/shapepipe
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 74/100
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 85/100
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 75/100
Maintainer antworten meist innerhalb von 1 Tag
-
PSF star selection: apply the manual mask; M33 shows outlier rejection fails where contaminants dominateEvtl. vergeben @cailmdaley hat das vor 3 Tagen übernommen. Offen
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 45/100
CosmoStat/shapepipe#993 · 1 Kommentar ·
Maintainer antworten meist innerhalb von 1 Tag
-
PSFEx native sampling leaves a g1 residual on sub-0.5″ exposures; PSF consumers assume PSF_SAMP = 1Offen
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 25/100
Maintainer antworten meist innerhalb von 1 Tag
Alle Issues in CosmoStat/shapepipe
Ähnliche Issues
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
Maintainer antworten meist innerhalb von 1 Tag
-
enhancement good first issue
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
elviskahoro/sdk-python-attio#144 · 1 Kommentar ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 84/100
Maintainer antworten meist innerhalb von 1 Tag
-
RenyiELBO raises TypeError when model has no sample sitesEvtl. vergeben @alibb007 hat das heute übernommen. Offen
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 85/100
Maintainer antworten meist innerhalb von 1 Tag
-
[Bug]: Four evaluation scripts unpack init_memmachine_params's five return values into three namesOffen
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 88/100
MemMachine/MemMachine#1911 ·
Maintainer antworten meist innerhalb von 3 Tagen