Make script for OSM data update, tools export, viz rebuild pipelines

Abierto
#73 1 comentario 0 reacciones 2 asignados Ver en GitHub

@MoritzStefaner ya está trabajando en esto.

Desde el 16/9/2026.

Evaluación

Este issue todavía no se ha evaluado.

Descripción

Given cities.csv with columns cityid, name_en, country_en, nominatim_query (needs manual check), country_code, population:
(⚠️ are online steps that can timeout)

OSM data update pipeline pipeline_osm_data_update

  • ⚠️ Get city boundaries via osmnx (take care of special cases like Copenhagen)
  • Add centroid lat/lon columns to cities.csv
  • ⚠️ Add wikidata_qid column to cities.csv
  • ⚠️ curl all country pbfs from cities.csv from geofabrik, filenames: removing date + taking care of special country name mappings
  • Create city pbfs, street_networks, bike_networks, growable_networks, streetbike_networks
  • ⚠️ Fetch rail stations, schools via osmnx
  • Recalculate meta/rec_table.csv and meta/network_metrics.csv
  • Manual sanity checkpoint
  • Update osm_data_date in meta/versions.csv
  • ⚠️ Push new data version to zenodo

Tools export pipeline pipeline_tools_export

  • Paralellizable: gbn offline export (~2 days)
  • Paralellizable: fbn offline export (~1 day)
  • Paralellizable: lbn offline export (~2 days)
  • ⚠️ Paralellizable: sb online export (~3 days with 1000 sleep) - crashes & timeouts possible!
  • Manual sanity checkpoint
  • Update versions in meta/versions.csv
  • ⚠️ Push new data versions to zenodo
  • ⚠️ Push new data to server

Viz rebuild pipeline pipeline_viz_rebuild

To fill in with @MoritzStefaner whenever finalized

Lenguaje dominante
Jupyter Notebook
Estrellas
2
Forks
0
Merge medio
9 min
PR fusionados (30 d)
16

Guía de contribución

Abrir la guía de contribución

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de BikeNetKit/dataexport

Todos los issues de BikeNetKit/dataexport

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.