Handling of DSG station data for big datasets
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức phù hợp với người mới
- 25/100
Hướng nghiên cứu
Chưa xác định được tệp, kiểm thử hoặc entry point nào. Hãy bắt đầu bằng cách xem xét cách cf-python hiện xử lý dữ liệu trạm trong Contiguous Ragged Arrays và use case ghcnd-dsg, sau đó xác định cách kiểm chứng khả năng hỗ trợ hơn 100.000 trạm và 1 tỷ quan trắc, bao gồm cả hành vi được đề xuất của bộ nhớ đệm phạm vi ngày.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
This is just to keep record of enhancements regarding the handling of station data for big datasets. As use case it is proposed that cf-python can handle a DSG dataset stored in contiguous ragged array format with +100_000 stations and more than 1 billion observations (see https://github.com/zequihg50/ghcnd-dsg).
An in-memory cache of the start and end dates registered for each station is trivial to obtain in this format, assuming that for each station the time series is sorted in disk. This allows to avoid several reading from the file for stations that actually do not contain data when subspacing in time, the slowest kind of access.
- Ngôn ngữ chính
- Python
- Star
- 151
- Fork
- 23
- Merge trung bình
- 21 giờ 29 phút
- Pull request đã merge (30 ngày)
- 1
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Không có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của NCAS-CMS/cf-python
-
Remove abandoned `cf.etc` directoryCó thể đã có người làm @sadielbartholomew đã nhận 27 ngày trước. Đang mởcode tidy
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
-
installation
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 45/100
-
Attempt at unsupported conservative 3D mesh regriddingCó thể đã có người làm @sadielbartholomew đã nhận 25 ngày trước. Đang mởbug?
-
Release: migrate from deprecated build commandCó thể đã có người làm @sadielbartholomew đã nhận 28 ngày trước. Đang mởrelease
-
Remove support for Python 3.10 (EOL)Có thể đã có người làm @sadielbartholomew đã nhận 28 ngày trước. Đang mởenhancement
Tất cả issue của NCAS-CMS/cf-python
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
LearningCircuit/local-deep-research#7206 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
[TASK] Document technology stackĐang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
chingu-voyages/V62-tier3-team-33#285 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Proxy drops log notifications from backends that don't send FastMCP's msg/extra dictCó thể đã có người làm @asasemahmed đã nhận hôm nay. Đang mởbug server
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
Maintainer thường phản hồi trong vòng 1 ngày
-
[Bug]: Bedrock request metadata forwarding does not work for /embeddingsCó thể đã có người làm Có pull request liên kết đang mở hoặc đã được merge. Đang mởbug llm translation
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
Maintainer thường phản hồi trong vòng 1 ngày