Handling of DSG station data for big datasets
還沒有人認領這個 Issue。
評估
研究方向
尚未識別任何檔案、測試或進入點。先檢視 cf-python 現有對 Contiguous Ragged Arrays 測站資料的處理方式，以及 ghcnd-dsg 使用案例，然後確立如何驗證對超過 100,000 個測站和 10 億筆觀測資料的支援，包括提議的日期範圍快取行為。
由索引模型根據 Issue 內容生成。
描述
This is just to keep record of enhancements regarding the handling of station data for big datasets. As use case it is proposed that cf-python can handle a DSG dataset stored in contiguous ragged array format with +100_000 stations and more than 1 billion observations (see https://github.com/zequihg50/ghcnd-dsg).
An in-memory cache of the start and end dates registered for each station is trivial to obtain in this format, assuming that for each station the time series is sorted in disk. This allows to avoid several reading from the file for stations that actually do not contain data when subspacing in time, the slowest kind of access.
- 主要語言
- Python
- 星號
- 150
- 分支
- 23
- 平均合併
- 21 小時 29 分鐘
- 30 天內合併 PR
- 1
環境準備
從這裡開始
- 先讀完整個 Issue，再讀專案的貢獻指南。
- 在 Issue 下留言說明你要接手 —— 這能避免兩個人做同樣的事。
- Fork 儲存庫，在一個分支上完成修改。
- 送出 Pull Request，並在描述裡引用這個 Issue 編號。
NCAS-CMS/cf-python 的其他 Issue
-
code tidy
難度 2/5 1-3 小時 新手友好度 76/100
-
Attempt at unsupported conservative 3D mesh regridding可能已有人在做 @sadielbartholomew 於 16 天前認領。 未關閉bug?
-
Release: migrate from deprecated build command可能已有人在做 @sadielbartholomew 於 19 天前認領。 未關閉release
-
Remove support for Python 3.10 (EOL)可能已有人在做 @sadielbartholomew 於 19 天前認領。 未關閉enhancement
-
bug
難度 3/5 1-2 天 新手友好度 45/100
查看 NCAS-CMS/cf-python 的全部 Issue
相似的 Issue
-
correction metadata
難度 2/5 1-3 小時 新手友好度 68/100
acl-org/acl-anthology#10104 · 1 則留言 ·
維護者通常 1 天內回覆
-
bug status/needs-triage
難度 2/5 1-3 小時 新手友好度 86/100
prowler-cloud/prowler#12885 · 1 則留言 ·
維護者通常 1 天內回覆
-
Bug in GaussianTailProbabilityCalibrator: running_statistics=False still uses a windowed variance未關閉bug good first issue
難度 2/5 1-3 小時 新手友好度 88/100
selimfirat/pysad#107 ·
維護者通常 1 天內回覆
-
bug ci-failure high priority
難度 1/5 1 小時以內 新手友好度 88/100
vllm-project/vllm-omni#8194 · 1 則留言 ·
維護者通常 1 天內回覆
-
難度 2/5 1-3 小時 新手友好度 88/100
維護者通常 1 天內回覆