Project Orrery artifacts without the content store, and write the execution overlay as its own file
I maintainer di solito rispondono entro 1 giorno
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 12/100
Direzione di ricerca
Start in microcosm/graph/init.py, where the eager imports of the executor, store, kernels, codecs and evidence sit, and in microcosm/graph/orrery.py, which pulls in orrery_evidence. The protocol string and hash helper currently come from evidence, so those are the pieces to move out. Done means a subprocess that blocks numpy, pandas, microcosm-frame and the store can still import and project a schema plus overlay, and the round trip through graph.execution.json gives byte-identical Orrery JSON. Note that a linked pull request (#1295) is already open, so check it before starting.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Problem
The Orrery artifact is built in two halves. The build machine captures evidence after each phase and, at finalize, verifies it against the content store to produce the execution overlay. Projection (orrery_json_from_schema(schema, execution=overlay)) then needs only the schema and that overlay. The plan is for a collector worker to do the projection later, so that stored builds can be re-projected without the build machine. Two things block that today.
- The projection can't be imported without the build runtime.
microcosm.graph.orreryimportsorrery_evidence, which importsevidencefor one protocol string and a hash helper, andevidenceimports the content store. On top of that,microcosm/graph/__init__.pyimports the executor, store, kernels, codecs and evidence eagerly, so importing anymicrocosm.graphmodule pulls in numpy, pandas and microcosm-frame. - The overlay exists only inside the Orrery artifact.
collect_execution_evidencereturns it in memory,finalize_graph(uk_runtime/orrery_publication.py) passes it straight to the projector, andapply_executionembeds it atmetadata.execution. There is no standalone file to hand to another process.
Change
- Load
microcosm.graph's runtime exports on first access (PEP 562), and move the overlay protocol name and the hash helper into modules with no runtime dependencies. Thenmicrocosm.graph.orreryimports and projects a schema plus overlay in a process where numpy, pandas, microcosm-frame and the store can't be imported. Packaging and declared dependencies don't change. - Add a serialized overlay file: the canonical JSON of the
microcosm.graph.execution-evidence.v1object, with a bounded reader and a writer. - Have UK finalize write
graph.execution.jsonbesidegraph.orrery.jsonand register it as a build output. It is not added to the Orrery publication set (orrery-publication/,orrery.upload.json); that waits until the emitter and the runs service accept it. - Tests: a subprocess with those imports blocked; a round trip from the written file that must give byte-identical Orrery JSON; and existing outputs kept byte-identical.
Related: #1290 (the overlay's size bound at full UK scale), #1291 and #1170 (reconstruction).
- Lingua principale
- Python
- Stelle
- 0
- Fork
- 5
- Merge medio
- 1g 6h
- PR unite (30g)
- 146
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di PolicyEngine/microcosm
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
PolicyEngine/microcosm#1220 ·
I maintainer di solito rispondono entro 1 giorno
-
Update two stale comments about the export-mass reviewed-exclusion registerForse già presa Una pull request collegata a questa issue è aperta o già unita. Aperta
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 88/100
PolicyEngine/microcosm#1108 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100
PolicyEngine/microcosm#475 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 45/100
PolicyEngine/microcosm#1303 ·
I maintainer di solito rispondono entro 1 giorno
-
UK local-area release: publish a K=15, 150,000-household dense dataset in at most two buildsForse già presa Una pull request collegata a questa issue è aperta o già unita. Aperta
Difficoltà 5/5 Più di una settimana Idoneità per principianti 12/100
PolicyEngine/microcosm#1301 ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di PolicyEngine/microcosm
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
omegaup/omegaup#10353 · 1 commento ·
I maintainer di solito rispondono entro 5 giorni
-
bot-triaged module: LrScheduler module: optimizer triaged
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
I maintainer di solito rispondono entro 1 giorno
-
documentation glm5 llm-model
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
vllm-project/vllm-ascend#19062 ·
I maintainer di solito rispondono entro 1 giorno
-
Author Page: shuai-zhao-llmApertaauthor-page correction
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
acl-org/acl-anthology#10496 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno