Handling of DSG station data for big datasets
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Anfängerfreundlichkeit
- 25/100
Rechercherichtung
Keine Dateien, Tests oder Einstiegspunkte sind angegeben. Beginne damit, die bestehende Verarbeitung von Stationsdaten in Contiguous Ragged Arrays in cf-python und den Anwendungsfall ghcnd-dsg zu prüfen, und lege anschließend fest, wie die Unterstützung für mehr als 100.000 Stationen und 1 Milliarde Beobachtungen validiert werden soll, einschließlich des vorgeschlagenen Verhaltens des Datumsbereichs-Caches.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
This is just to keep record of enhancements regarding the handling of station data for big datasets. As use case it is proposed that cf-python can handle a DSG dataset stored in contiguous ragged array format with +100_000 stations and more than 1 billion observations (see https://github.com/zequihg50/ghcnd-dsg).
An in-memory cache of the start and end dates registered for each station is trivial to obtain in this format, assuming that for each station the time series is sorted in disk. This allows to avoid several reading from the file for stations that actually do not contain data when subspacing in time, the slowest kind of access.
- Vorherrschende Sprache
- Python
- Sterne
- 150
- Forks
- 23
- Ø Merge
- 21 Std. 29 Min.
- Gemergte PRs (30 T.)
- 1
Entwicklungsumgebung
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus NCAS-CMS/cf-python
-
code tidy
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 76/100
-
Attempt at unsupported conservative 3D mesh regriddingEvtl. vergeben @sadielbartholomew hat das vor 16 Tagen übernommen. Offenbug?
-
Release: migrate from deprecated build commandEvtl. vergeben @sadielbartholomew hat das vor 18 Tagen übernommen. Offenrelease
-
Remove support for Python 3.10 (EOL)Evtl. vergeben @sadielbartholomew hat das vor 18 Tagen übernommen. Offenenhancement
NCAS-CMS/cf-python#964 · 1 Reaktion · 1 zugewiesene Person ·
-
bug
Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 45/100
Alle Issues in NCAS-CMS/cf-python
Ähnliche Issues
-
documentation
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 70/100
kristofdegrave/homeassistant-smart-charging#1413 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 88/100
nasa/earthdata-varinfo#113 ·
-
curriculum documentation quality
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 88/100
githubnext/gh-aw-workshop#3849 ·
Maintainer antworten meist innerhalb von 2 Tagen
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 90/100
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 84/100
Maintainer antworten meist innerhalb von 1 Tag