Load the ACS local-area dataset for US state and district runs
Los mantenedores suelen responder en 1 día
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 35/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Bastante claro
- Estado de actividad
- Activo
- Stack tecnológico
- python
- Área
- backend, data, performance
Línea de trabajo
Start with _region_parent_dataset_reference and _resolve_region in projects/policyengine-simulation-executor/src/policyengine_simulation_executor/simulation_runtime.py, then inspect runtime_dataset_uri(...) and the linked build_populace_state_slices.py approach. Done means state and district runs use validated local-area extracts with linked groups and unchanged weights, while the resolved URI preserves the overlay revision and sha256.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Problem
Every US state/xx and congressional-district run executes on the national default file. In projects/policyengine-simulation-executor/src/policyengine_simulation_executor/simulation_runtime.py:
_resolve_region(lines 317–360) usesregion.dataset_pathwhen it is set.- Otherwise
_region_parent_dataset_reference(lines 276–301) walks up to the national region and returns its dataset.
policyengine.py state and district regions carry no dataset_path, so the fallback always applies (PolicyEngine/policyengine.py#551).
What changes once regions carry the local-area dataset
PolicyEngine/policyengine.py#551 proposes resolving state and district regions to populace_us_2024_acs_local.h5. The executor would then receive that file for every state run:
- Size: 9.8 GB. It covers 1,588,854 households (Sep 23 build
767312d60). - Memory: our Modal jobs needed a 64 GB container to load it and extract one state.
- Per-state counts: Pennsylvania alone is 64,981 households. Child-poverty-impact-dashboard slices range from 3.4k households (WY) to 163k (CA).
Suggested direction
- Build per-state extracts once per local-area release, keeping every linked person, tax unit, SPM unit, family and marital unit, with weights unchanged. Run state and district requests on the extract.
PolicyEngine/child-poverty-impact-dashboardscripts/build_populace_state_slices.pydoes this for 51 states. It checks that slices partition the frame exactly and that no group straddles a state boundary. It also verified a 2021-CTC reform on all 51 slices against masked full-file runs (population and transfer total within 1e-6, poverty rates within 1e-4).- Confirm the resolved URI keeps the overlay's own revision and sha256. Today
runtime_dataset_uri(...)passesbundle.data_artifact_revision(the national artifact's revision) as the artifact revision, so check that it does not override the local-area pin.
Related
- Region wiring: PolicyEngine/policyengine.py#551
- API v1 state reports: PolicyEngine/policyengine-api#3864
- Weight concentration on the local-area build: PolicyEngine/microcosm#403
🤖 Generated with Claude Code
- Lenguaje dominante
- Python
- Estrellas
- 1
- Forks
- 1
- Merge medio
- 1 d 6 h
- PR fusionados (30 d)
- 24
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Tiene una plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de PolicyEngine/policyengine-sim-api
-
Integration tests fail due to missing UV virtual environment setupPosiblemente ocupada Un pull request vinculado a esta issue está abierto o ya se fusionó. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 65/100
PolicyEngine/policyengine-sim-api#314 ·
Los mantenedores suelen responder en 1 día
-
Update policyengine to 6.2.7Posiblemente ocupada @policyengine la tomó hoy. Abierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 55/100
PolicyEngine/policyengine-sim-api#745 ·
Los mantenedores suelen responder en 1 día
-
Expose the certified dataset SHA-256 and gate production on the served identityPosiblemente ocupada @MaxGhenis la tomó hoy. Abierto
Dificultad 4/5 3-5 días Aptitud para principiantes 48/100
PolicyEngine/policyengine-sim-api#742 ·
Los mantenedores suelen responder en 1 día
-
Update policyengine to 6.2.6Posiblemente ocupada @policyengine la tomó hace 2 días. Abierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 12/100
PolicyEngine/policyengine-sim-api#738 ·
Los mantenedores suelen responder en 1 día
-
Update policyengine to 6.2.4Posiblemente ocupada @policyengine la tomó hace 3 días. Abierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 15/100
PolicyEngine/policyengine-sim-api#736 ·
Los mantenedores suelen responder en 1 día
Todos los issues de PolicyEngine/policyengine-sim-api
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
-
good first issue No-AI
Dificultad 2/5 1-3 horas Aptitud para principiantes 69/100
-
documentation
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
-
🐛 Bug: Calendar work items cannot be opened on mobilePosiblemente ocupada Un pull request vinculado a esta issue está abierto o ya se fusionó. Abierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 75/100
Los mantenedores suelen responder en 1 día
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
Los mantenedores suelen responder en 2 días