Load the ACS local-area dataset for US state and district runs
メンテナーはふだん 1 日以内に返信
評価
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 初心者へのやさしさ
- 35/100
- issue の種類
- 機能追加
- 明瞭さ
- おおむね明確
- 活発さ
- 活発
- 技術スタック
- python
- 領域
- backend, data, performance
調査の方向性
Start with _region_parent_dataset_reference and _resolve_region in projects/policyengine-simulation-executor/src/policyengine_simulation_executor/simulation_runtime.py, then inspect runtime_dataset_uri(...) and the linked build_populace_state_slices.py approach. Done means state and district runs use validated local-area extracts with linked groups and unchanged weights, while the resolved URI preserves the overlay revision and sha256.
索引モデルが issue の本文から書いたものです。
説明
Problem
Every US state/xx and congressional-district run executes on the national default file. In projects/policyengine-simulation-executor/src/policyengine_simulation_executor/simulation_runtime.py:
_resolve_region(lines 317–360) usesregion.dataset_pathwhen it is set.- Otherwise
_region_parent_dataset_reference(lines 276–301) walks up to the national region and returns its dataset.
policyengine.py state and district regions carry no dataset_path, so the fallback always applies (PolicyEngine/policyengine.py#551).
What changes once regions carry the local-area dataset
PolicyEngine/policyengine.py#551 proposes resolving state and district regions to populace_us_2024_acs_local.h5. The executor would then receive that file for every state run:
- Size: 9.8 GB. It covers 1,588,854 households (Sep 23 build
767312d60). - Memory: our Modal jobs needed a 64 GB container to load it and extract one state.
- Per-state counts: Pennsylvania alone is 64,981 households. Child-poverty-impact-dashboard slices range from 3.4k households (WY) to 163k (CA).
Suggested direction
- Build per-state extracts once per local-area release, keeping every linked person, tax unit, SPM unit, family and marital unit, with weights unchanged. Run state and district requests on the extract.
PolicyEngine/child-poverty-impact-dashboardscripts/build_populace_state_slices.pydoes this for 51 states. It checks that slices partition the frame exactly and that no group straddles a state boundary. It also verified a 2021-CTC reform on all 51 slices against masked full-file runs (population and transfer total within 1e-6, poverty rates within 1e-4).- Confirm the resolved URI keeps the overlay's own revision and sha256. Today
runtime_dataset_uri(...)passesbundle.data_artifact_revision(the national artifact's revision) as the artifact revision, so check that it does not override the local-area pin.
Related
- Region wiring: PolicyEngine/policyengine.py#551
- API v1 state reports: PolicyEngine/policyengine-api#3864
- Weight concentration on the local-area build: PolicyEngine/microcosm#403
🤖 Generated with Claude Code
- 主要言語
- Python
- スター
- 1
- フォーク
- 1
- 平均マージ
- 22時間 18分
- マージ済み PR(30日)
- 21
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートあり
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
PolicyEngine/policyengine-sim-api のほかの issue
-
Integration tests fail due to missing UV virtual environment setup対応中かも このイシューにリンクされたプルリクエストがオープン中、またはマージ済みです。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
PolicyEngine/policyengine-sim-api#314 ·
メンテナーはふだん 1 日以内に返信
-
難易度 4/5 3〜5日 初心者へのやさしさ 52/100
PolicyEngine/policyengine-sim-api#722 ·
メンテナーはふだん 1 日以内に返信
-
Segment and cache Stage 12 US simulations対応中かも @anth-volk が 6 日前に担当しました。 オープン
難易度 5/5 1週間以上 初心者へのやさしさ 35/100
PolicyEngine/policyengine-sim-api#711 ·
メンテナーはふだん 1 日以内に返信
-
Measure Stage 12 coordinator preparation and separate metric producers対応中かも @anth-volk が 6 日前に担当しました。 オープン
難易度 4/5 3〜5日 初心者へのやさしさ 45/100
PolicyEngine/policyengine-sim-api#707 ·
メンテナーはふだん 1 日以内に返信
-
難易度 4/5 3〜5日 初心者へのやさしさ 45/100
PolicyEngine/policyengine-sim-api#674 · コメント 3 件 ·
メンテナーはふだん 1 日以内に返信
PolicyEngine/policyengine-sim-api の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 85/100
メンテナーはふだん 3 日以内に返信
-
Negation with "not" and "no" is ignored during sentiment analysis対応中かも @vivek-3728 が今日担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
techcsispit/mess-mood#11 · コメント 1 件 ·
-
changelog investigate
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
ramnes/notion-sdk-py#408 ·
-
good first issue
難易度 2/5 1〜3時間 初心者へのやさしさ 83/100
btclib-org/btclib-wallet#267 ·
メンテナーはふだん 1 日以内に返信
-
good first issue tech-debt
難易度 2/5 1〜3時間 初心者へのやさしさ 85/100
knnmelprop/YAADO#111 ·