autogluon/autogluon

Support for custom cross-validation strategies, e.g., forward chaining for temporally ordered tabular data

Aperta

#4492 aperta il 25 set 2024

Vedi su GitHubGuida contributor
 (4 commenti) (3 reazioni) (0 assegnatari)Python (1176 fork)batch import
enhancementhelp wantedmodule: tabular

Metriche repository

Star
 (10.602 stelle)
Metriche merge PR
 (Merge medio 4g 5h) (20 PR mergiate in 30 g)

Descrizione

Hi AutoGluon team,

I'm using TabularPredictor for temporally ordered tabular data and need more flexible cross-validation options. The current CV methods and "groups" parameter don't suffice for many time-based scenarios.

Standard k-fold CV can cause data leakage with ordered data. As far as I can tell, I'm unable to do the following using the "groups" parameter:

fold 1: training [month 1], test [month 2] fold 2: training [months 1-2], test [month 3] fold 3: training [months 1-3], test [month 4] ...and so on

Proposed solution: Add a custom_cv_strategy parameter to TabularPredictor, allowing custom splitting functions or pre-implemented strategies like forward chaining.

Let me know if I've overlooked something, and this is actually currently possible, or if there is a workaround.

Otherwise, thank you for considering!

Guida contributor

Direzione di ricerca
Esamina l'attuale implementazione della convalida incrociata in TabularPredictor, quindi progetta e implementa un parametro custom cv strategy che accetta un callable o strategie predefinite come il forward chaining.
Tech stack
python
Dominio
backend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
3-5 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonGit
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
65