Hacktoberfest 2026 : les issues que les mainteneurs ont marquées pour octobre, ouvertes et accessibles aux débutants. Parcourir les issues Hacktoberfest

Optimize Raster Reader Memory Usage for Hazard Module

Ouverte
  • Quelque chose ne va pas ?
#1,262 1 commentaire 0 réactions 0 personnes assignées Voir sur GitHub

Les mainteneurs répondent en général sous 3 jours

Personne n'a encore pris cette issue.

Évaluation

Difficulté
3/5
Temps estimé
1-2 jours
Accessibilité débutants
35/100
Type d'issue
Fonctionnalité
Clarté
Plutôt claire
Activité
À l'abandon
Stack technique
python
Domaine
data

Piste de recherche

Start with the HazardXarrayReader class and its get_hazard_kwargs() method, where the raster data is turned into centroid coordinates for the hazard module. The issue leaves open whether the new options should default to filtering out no-data and zero-intensity points, so settle that with the maintainers first. Done means that centroids are built only for the selected coordinates, with the options exposed on the reader and covered by tests.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

enhancement

The current raster readers for the hazard module require building centroids for every point across the total extent of the raster. For high-resolution rasters, this leads to excessive memory requirements.

The construction requires building a Centroid grid for every point of the raster (even for no-data points)

Is your feature request related to a problem? Please describe.
A clear and concise description of what the problem is. Ex. I'm always frustrated when [...]

Describe the solution you'd like
(Add an option to?) Sub-select the dataset to coordinates which are not always NaN (also 0?)
This approach would save substantial RAM and computation time.

Specifically:

  1. add optional attributes to HazardXarrayReader (e.g. ignore_novalue_coords (default True) and ignore_zero_intensity_coords (default False)
  2. based on these attributes, sub-select the data in the get_hazard_kwargs() method, to generate Centroids only for the corresponding coordinates.

Describe alternatives you've considered
A clear and concise description of any alternative solutions or features you've considered.

Additional context

  • This is related to the refactoring of the centroids (GeoDataFrame)
  • This issue affects both read raster and potentially write raster methods? (a priori not)
Langage dominant
Jupyter Notebook
Étoiles
478
Forks
166
Merge moyen
2 j 31 min
PR mergées (30 j)
4

Préparer son environnement

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de CLIMADA-project/climada_python

Toutes les issues de CLIMADA-project/climada_python

Issues similaires

Plus d'issues Data Engineering

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.