Better documentation of behaviour with irregular source chunks
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 25/100
- Loại issue
- Tài liệu
- Độ rõ ràng
- Cần làm rõ
- Mức độ hoạt động
- Đình trệ
- Công nghệ
- python
- Lĩnh vực
- data-engineering
Hướng nghiên cứu
Bắt đầu bằng việc xem xét hành vi của Rechunk và ConsolidateChunks với các kích thước chunk nguồn không đều, bao gồm ví dụ về năm nhuận trong issue. Xác định xem hạn chế này có mang tính nền tảng hay không và cần ghi lại hướng dẫn nào, chẳng hạn như tiền xử lý bằng SplitChunks; công việc được xem là hoàn thành khi hạn chế và các khuyến nghị được giải thích rõ ràng.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Hiya!
In some source datasets the original chunks have irregular sizes. For example one netcdf file per year, where some years are leap years hence shorter than others.
Although the data model would seem to support this in principle, I couldn't get Rechunk or ConsolidateChunks to work without regular source chunk sizes.
Is this a fundamental limitation or something that could be in scope to address? And do you have any recommendations for getting data like this into regular chunks? In the leap year case, first splitting the source chunks into one chunk per day using SplitChunks could be an option. Although in general this would require splitting into chunks of gcd(*all_possible_source_chunk_sizes) which could be too small.
- Ngôn ngữ chính
- Python
- Star
- 170
- Fork
- 15
- Merge trung bình
- 1 ngày 4 giờ
- Pull request đã merge (30 ngày)
- 1
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Không có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của google/xarray-beam
-
`OverflowError` when a chunk exceeds 2 GBCó thể đã có người làm @chase-dwelle đã nhận 154 ngày trước. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
google/xarray-beam#196 ·
-
Compatibility with IceChunk?Đang mở
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
google/xarray-beam#199 ·
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 30/100
google/xarray-beam#195 ·
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 30/100
google/xarray-beam#173 ·
-
Support xarray.DataTreeĐang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100
google/xarray-beam#124 ·
Tất cả issue của google/xarray-beam
Issue tương tự
-
Workflow.schedule stops when a cron deadline passes before sleepCó thể đã có người làm @HuaTNA đã nhận hôm nay. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
Maintainer thường phản hồi trong vòng 1 ngày
-
[Bug] HiveDialect shares its colspecs dict with SQLAlchemy's DefaultDialect (python/pyhive)Có thể đã có người làm @rusackas đã nhận hôm nay. Đang mở
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 80/100
apache/kyuubi#7786 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 2 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 80/100
Maintainer thường phản hồi trong vòng 1 ngày
-
[20.0] hr_work_entry: Duration column of Export Time Entries is truncated to whole hoursCó thể đã có người làm @odooaktiv đã nhận hôm nay. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
Maintainer thường phản hồi trong vòng 1 ngày
-
fix formatting of the sample database page of the docsCó thể đã có người làm @Aaqibhafeezkhan đã nhận hôm nay. Đang mởdocumentation good first issue help wanted
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 72/100
chaoss/CollectOSS#544 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày