Hacktoberfest 2026 : les issues que les mainteneurs ont marquées pour octobre, ouvertes et accessibles aux débutants. Parcourir les issues Hacktoberfest

Perf: update open_era5.py to use read_xarray_table with filter pushdown and lazy loading

Ouverte
  • Quelque chose ne va pas ?
#139 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Les mainteneurs répondent en général sous 1 jour

Personne n'a encore pris cette issue.

Évaluation

Difficulté
3/5
Temps estimé
1-2 jours
Accessibilité débutants
52/100
Type d'issue
Fonctionnalité
Clarté
Clairement spécifiée
Activité
À l'abandon
Stack technique
google-cloud, python
Domaine
data-engineering, performance

Piste de recherche

Start with perf_tests/open_era5.py and compare its existing read_xarray call with the proposed read_xarray_table flow. Add measurements for registration, a time filtered query, and a full scan, then run the benchmark with GCP authentication available and check that the output reports timings for each workload.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

Context

perf_tests/open_era5.py currently uses the older read_xarray API, which returns an eager pa.RecordBatchReader. It also only prints the schema, making it impossible to benchmark real query performance.

Current state

# open_era5.py
era5_ds = xr.open_zarr("gs://gcp-public-data-arco-era5/...", chunks={"time": 240, "level": 1})
era5_wind_df = xql.read_xarray(
    era5_ds[["u_component_of_wind", "v_component_of_wind"]]
)
print(era5_wind_df.schema)

Issues:

  1. Uses read_xarray instead of read_xarray_table — loses filter pushdown and lazy partition loading
  2. Only inspects schema, never runs a query — no way to measure actual query performance
  3. Does not demonstrate the partition pruning benefit for time-range queries

Proposed update

# open_era5.py
import time
from datafusion import SessionContext
import xarray as xr
import xarray_sql as xql

era5_ds = xr.open_zarr(
    "gs://gcp-public-data-arco-era5/ar/1959-2022-full_37-1h-0p25deg-chunk-1.zarr-v2",
    chunks={"time": 240, "level": 1},
)
wind_ds = era5_ds[["u_component_of_wind", "v_component_of_wind"]]

# read_xarray_table: lazy, supports filter pushdown
table = xql.read_xarray_table(wind_ds, chunks={"time": 240})

ctx = SessionContext()
ctx.register_table("era5_wind", table)

# Filter pushdown: should prune most partitions
t0 = time.perf_counter()
result = ctx.sql(
    "SELECT AVG(u_component_of_wind), AVG(v_component_of_wind) "
    "FROM era5_wind WHERE time > '2020-01-01'"
).to_arrow_table()
print(f"Filter query: {time.perf_counter() - t0:.2f}s  {result}")

Goals

  • Serve as a real-world benchmark for ERA5 (the primary large-scale use case)
  • Show filter pushdown pruning thousands of partitions
  • Compare registration time, filter query time, and full-scan time
  • Can be run with py-spy to generate flame graphs once GCP auth is available
Langage dominant
Python
Étoiles
142
Forks
19
Merge moyen
1 j 9 h
PR mergées (30 j)
9

Préparer son environnement

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de xqlsystems/xarray-sql

Toutes les issues de xqlsystems/xarray-sql

Issues similaires

Plus d'issues Python

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.