static spatiotemporal train/val/test splits for dataset

Aperta
#10,853 1 commento 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
5/5
Tempo stimato
Più di una settimana
Idoneità per principianti
25/100
Tipo di issue
Funzionalità
Chiarezza
Da chiarire
Stato di attività
Ferma
Stack tecnologico
python

Direzione di ricerca

L'issue propone suddivisioni statiche spaziotemporali di addestramento, validazione e test per un grande dataset xarray, con dimensioni dei campioni, passi, regioni messe da parte e una maschera del territorio opzionale. Inizia esaminando il prototipo esistente menzionato nell'issue e determina dove debba risiedere questa funzionalità. Il lavoro sarà completo quando saranno disponibili un design concordato e un'implementazione che restituisca dizionari di coordinate per ogni suddivisione.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

enhancement
Is your feature request related to a problem?

Unable to create easy, good static splits for train val and test sets of an xarray dataset for Deep Learning

Describe the solution you'd like

Is your feature request related to a problem?
Hi everyone,

I’d like to open the discussion about adding functionality to create static spatiotemporal train, validation, and test splits from a single large xarray dataset (e.g., global-scale data).

The goal is to generate these splits based on:

The spatial and temporal size of each sample
The stride between samples
A list of user-defined validation and test regions (as static spatiotemporal holdouts)
Potentially a land mask, used to ignore samples which only contain ocean, or land data.
The expected output would be, for each split, a list of dictionaries containing the coordinates (start and end) of each slice. This structure would make it straightforward to iterate over samples in a dataloader.

Keeping the validation and test regions static is important to ensure consistent model evaluation and comparability across experiments.
I am already working on a prototype for this with my work, and wanted to open the discussion to gather feedback and seeing if and to which library this could be a contribution!

Describe alternatives you've considered

none, it doesnt exist yet

Additional context

No response

Lingua principale
Python
Stelle
4.2k
Fork
1.5k
Merge medio
2g 21h
PR unite (30g)
74

Preparare l'ambiente

Apri in Codespaces

Avvia il container di sviluppo del progetto nel browser, con il tuo account GitHub.

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di pydata/xarray

Tutte le issue di pydata/xarray

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.