Support pinned historic OSM snapshots for reproducibility

Đang mở
  • Có gì không ổn?
#10 2 bình luận 1 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
30/100
Loại issue
Tính năng
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
python, yaml
Lĩnh vực
data-engineering

Hướng nghiên cứu

Start by reading workflow/scripts/_schema.py and the existing retrieve.target_date handling, then compare the proposed osm_data config with the referenced PyPSA-Earth PR #2005 and the historical test config in pypsa-earth-osm. First resolve the open questions about the historical-data backend, date granularity and output metadata. Done means historical snapshots are validated and stored separately, the historical path runs in CI, and the docs explain reproducibility and its limits.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Is your feature request related to a problem? Please describe.

Grid models built from "latest" OSM data cannot be reproduced. OSM changes continuously, so the same config run a month apart yields a different network. Results, validation and published studies cannot be re-run or compared against a fixed input. Pinning the OSM snapshot date is a prerequisite for reproducible runs.

Describe the solution you'd like

A config-selectable OSM data source with an explicit snapshot date, and snapshots stored per date so runs with different dates never overwrite each other.

Proposed config (same shape as the one already implemented in PyPSA-Earth):

osm_data:
  source: historical      # latest | historical | custom
  target_date: "2020-01-01"   # YYYY-MM-DD, required for historical
  • latest: current OSM data (default, unchanged behaviour)
  • historical: data as of target_date
  • custom: user-provided .pbf and optional pre-filtered power files

Raw data is stored per snapshot, e.g. data/osm/<subdir>/ where <subdir> is YYYYMM, latest or custom.

Acceptance criteria:

  • Same config + same target_date gives identical raw OSM input across runs
  • Different dates are stored in separate directories and do not overwrite each other
  • target_date is validated (format, not in the future, not before the earliest supported snapshot)
  • A test config exercising the historical path (e.g. target_date: 2020-01-01) runs in CI
  • Docs describe the options and the reproducibility guarantee and its limits

Prior work (what is already done and can be reused)

  • pypsa-earth-osm
    • #5 historical OSM data integration (from earth-osm#63)
    • #16 separate OSM data into date-specific directories
    • #27 test config for historical data (test/config.historical.yaml)
  • pypsa-earth
    • #2005 ports the feature with the osm_data config section above; requires earth-osm>=3.0.2 (open)

Describe alternatives you've considered

  • Pinning a downloaded .pbf by hand (custom source): works, but the snapshot date is not recorded in the config and is easy to lose.
  • Committing/archiving the raw data per study: heavy, and does not scale across users.

Open questions

  • Which backend should serve historic data here (earth-osm historical feature vs Geofabrik history files vs Overpass date: queries)? Each has a different earliest date and coverage.
  • Should the resolved snapshot date be written into the output metadata so results are traceable?
  • Granularity of the snapshot: month (YYYYMM, as in PyPSA-Earth) or exact date?

Additional context

Related: retrieve.target_date in grid-builder (workflow/scripts/_schema.py) currently exists but is only honoured for retrieve.source: geofabrik, so the Overpass path is not reproducible today.

Ngôn ngữ chính
Python
Star
7
Fork
2
Không có pull request nào được merge trong 30 ngày

Chuẩn bị môi trường

  • Không có Dockerfile hay tệp Docker Compose
  • Có mẫu pull request
  • Không có hướng dẫn đóng góp

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của PyPSA/grid-builder

Tất cả issue của PyPSA/grid-builder

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.