Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

Bake per-state ACS-local year files into Stage 12 and record the dataset state runs load

Đang mở
  • Có gì không ổn?
#884 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
35/100
Loại issue
Tính năng
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
python
Lĩnh vực
backend, data-engineering

Hướng nghiên cứu

Read #878 and inspect Stage 12's precompute, cache manifest, image fetch, worker check, runtime lookup, and stage12_adapter.py, along with the shared simulation_runtime helpers. Trace which dataset each region type loads and how its provenance and revision reach run records; done means Stage 12 has per-state files, validates loaded dataset identity, preserves compatibility during rollout, and reports the loaded revision as data_version.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

#878 makes the main simulation path pre-build one ACS-local year file per state, so state and district requests stop preparing the 9.8 GB regional dataset on each new worker. Stage 12 has the same problem and needs its own copy of that change.

  • Slow loading. Stage 12's US workers resolve state and district requests to populace_us_2024_acs_local through the shared simulation_runtime helpers. Each new worker downloads the full source and prepares the full-country year file. On 21 Oct, Utah's dataset_load took 55 s on a reused worker and 250 s on a new one, and the workers reached about 51 GB of memory.

Stage 12 also records the wrong dataset for these runs:

  • Wrong dataset recorded. The entry adapter (stage12_adapter.py) records the national dataset populace_us_2024 as the dataset identity, URI and population for every US request. State and district runs actually load populace_us_2024_acs_local, so their comparison records name the wrong dataset.
  • Worker checks. _require_installed_bundle requires the default dataset, and nothing checks that the dataset recorded is the one loaded.
  • Wrong data_version on the main path. For state runs, the main path names the national release (populace-us-2024-spm-20260915) as data_version, because nothing passes the loaded dataset's revision.

Change

  1. Stage 12 state files. Stage 12's precompute, cache manifest, image fetch, worker check and runtime lookup get their own copy of #878's per-state datasets. The two stacks stay separate.
  2. Published bundle. It records which dataset each region type loads. The v2 version manifest goes under a new key that only updated entry services read. The existing keys keep their shapes for entry services already running.
  3. Workers. They accept regional provenance and check that it names the dataset actually loaded. During the rollout, the default dataset stays accepted for state and district runs from entry services that haven't been updated.
  4. Entry adapter. It sends the regional dataset's provenance for state and district requests.
  5. Main path. State and district runs report the loaded dataset's revision as data_version, so both paths report the same value.

Related: #878, #717.

Ngôn ngữ chính
Python
Star
1
Fork
1
Merge trung bình
1 ngày 16 giờ
Pull request đã merge (30 ngày)
60

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của PolicyEngine/policyengine-sim-api

Tất cả issue của PolicyEngine/policyengine-sim-api

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.