Handling of DSG station data for big datasets
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 5/5
- Temps estimé
- Plus d'une semaine
- Accessibilité débutants
- 25/100
Piste de recherche
Aucun fichier, test ou point d’entrée n’est identifié. Commencez par examiner la gestion existante par cf-python des données de stations dans des Contiguous Ragged Arrays ainsi que le cas d’utilisation ghcnd-dsg, puis déterminez comment la prise en charge de plus de 100 000 stations et de 1 milliard d’observations serait validée, y compris le comportement proposé du cache de plages de dates.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
This is just to keep record of enhancements regarding the handling of station data for big datasets. As use case it is proposed that cf-python can handle a DSG dataset stored in contiguous ragged array format with +100_000 stations and more than 1 billion observations (see https://github.com/zequihg50/ghcnd-dsg).
An in-memory cache of the start and end dates registered for each station is trivial to obtain in this format, assuming that for each station the time series is sorted in disk. This allows to avoid several reading from the file for stations that actually do not contain data when subspacing in time, the slowest kind of access.
- Langage dominant
- Python
- Étoiles
- 150
- Forks
- 23
- Merge moyen
- 21 h 29 min
- PR mergées (30 j)
- 1
Préparer son environnement
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de NCAS-CMS/cf-python
-
code tidy
Difficulté 2/5 1-3 heures Accessibilité débutants 76/100
-
Attempt at unsupported conservative 3D mesh regriddingPeut-être pris @sadielbartholomew l’a pris il y a 18 jours. Ouvertebug?
-
Release: migrate from deprecated build commandPeut-être pris @sadielbartholomew l’a pris il y a 21 jours. Ouverterelease
-
Remove support for Python 3.10 (EOL)Peut-être pris @sadielbartholomew l’a pris il y a 21 jours. Ouverteenhancement
-
error from netCDF in cf.writeOuvertebug
Difficulté 3/5 1-2 jours Accessibilité débutants 45/100
Toutes les issues de NCAS-CMS/cf-python
Issues similaires
-
Difficulté 2/5 1-3 heures Accessibilité débutants 88/100
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 84/100
spec-kitty/spec-kitty#5319 ·
Les mainteneurs répondent en général sous 1 jour
-
backend::vllm diffusion multimodal
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 84/100
openai/openai-agents-python#5229 ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 84/100
Les mainteneurs répondent en général sous 1 jour