static spatiotemporal train/val/test splits for dataset

Đang mở
#10,853 1 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
25/100
Loại issue
Tính năng
Độ rõ ràng
Cần làm rõ
Mức độ hoạt động
Đình trệ
Công nghệ
python
Lĩnh vực
data, machine-learning

Hướng nghiên cứu

Issue đề xuất các tập chia tĩnh theo không gian-thời gian cho huấn luyện, xác thực và kiểm thử đối với một dataset xarray lớn, với kích thước mẫu, bước nhảy, các vùng giữ lại và mặt nạ đất tùy chọn. Hãy bắt đầu bằng việc xem xét prototype hiện có được đề cập trong issue và xác định chức năng này nên nằm ở đâu. Công việc được xem là hoàn tất khi có một thiết kế đã thống nhất và một implementation trả về các từ điển tọa độ cho từng tập chia.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

enhancement
Is your feature request related to a problem?

Unable to create easy, good static splits for train val and test sets of an xarray dataset for Deep Learning

Describe the solution you'd like

Is your feature request related to a problem?
Hi everyone,

I’d like to open the discussion about adding functionality to create static spatiotemporal train, validation, and test splits from a single large xarray dataset (e.g., global-scale data).

The goal is to generate these splits based on:

The spatial and temporal size of each sample
The stride between samples
A list of user-defined validation and test regions (as static spatiotemporal holdouts)
Potentially a land mask, used to ignore samples which only contain ocean, or land data.
The expected output would be, for each split, a list of dictionaries containing the coordinates (start and end) of each slice. This structure would make it straightforward to iterate over samples in a dataloader.

Keeping the validation and test regions static is important to ensure consistent model evaluation and comparability across experiments.
I am already working on a prototype for this with my work, and wanted to open the discussion to gather feedback and seeing if and to which library this could be a contribution!

Describe alternatives you've considered

none, it doesnt exist yet

Additional context

No response

Ngôn ngữ chính
Python
Star
4.2k
Fork
1.5k
Merge trung bình
2 ngày 21 giờ
Pull request đã merge (30 ngày)
74

Chuẩn bị môi trường

Mở trong Codespaces

Khởi chạy dev container của dự án ngay trên trình duyệt, bằng tài khoản GitHub của bạn.

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của pydata/xarray

Tất cả issue của pydata/xarray

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.