ContinualAI/avalanche

Using validation set for early stopping

Open

#904 aperta il 4 feb 2022

Vedi su GitHub
 (0 commenti) (0 reazioni) (0 assegnatari)Python (258 fork)batch import
Evaluationbuggood first issue

Metriche repository

Star
 (1516 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

Discussed in https://github.com/ContinualAI/avalanche/discussions/900

Originally posted by sivomke January 30, 2022 Hi, everyone!

I have created a benchmark with dataset_benchmark that contains 3 experiences, and then have added a validation set to this benchmark with benchmark_with_validation_stream. I am trying to use Early Stopping with validation set: for each experience, I would like to use loss on the validation set of the corresponding experience. I have indicated metric_name = 'Loss_Exp' and val_stream_name='valid' , however, it still uses Loss_Exp/eval_phase/train_stream of the corresponding experience instead. Could you please tell me what would be the correct way to use validation set for early stopping?

Here is the script

Thank you!

Guida contributor

Direzione di ricerca
Investigare l'implementazione del callback EarlyStop in Avalanche per capire come seleziona lo stream per le metriche di validazione. Concentrati sui parametri `metric name` e `val stream name`. Determina perche specificare `val stream name='valid'` non sovrascrive il comportamento predefinito di usare lo stream di training. Controlla la creazione del benchmark e l'assegnazione dello stream di validazione.
Tech stack
pythonpytorch
Dominio
machine learning
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
In attesa del maintainer
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonGit
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
65