ContinualAI/avalanche

Using validation set for early stopping

Open

#904 ouverte le 4 févr. 2022

Voir sur GitHub
 (0 commentaires) (0 réactions) (0 assignés)Python (258 forks)batch import
Evaluationbuggood first issue

Métriques du dépôt

Stars
 (1 516 stars)
Métriques de merge PR
 (Aucune PR mergée en 30 j)

Description

Discussed in https://github.com/ContinualAI/avalanche/discussions/900

Originally posted by sivomke January 30, 2022 Hi, everyone!

I have created a benchmark with dataset_benchmark that contains 3 experiences, and then have added a validation set to this benchmark with benchmark_with_validation_stream. I am trying to use Early Stopping with validation set: for each experience, I would like to use loss on the validation set of the corresponding experience. I have indicated metric_name = 'Loss_Exp' and val_stream_name='valid' , however, it still uses Loss_Exp/eval_phase/train_stream of the corresponding experience instead. Could you please tell me what would be the correct way to use validation set for early stopping?

Here is the script

Thank you!

Guide contributeur

Direction de recherche
Examinez l'implementation du callback EarlyStop dans Avalanche pour comprendre comment il selectionne le flux pour les metriques de validation. Concentrez vous sur les parametres `metric name` et `val stream name`. Determinez pourquoi la specification de `val stream name='valid'` ne remplace pas le comportement par defaut d'utilisation du flux d'entrainement. Verifiez la creation du benchmark et l'attribution du flux de validation.
Stack technique
pythonpytorch
Domaine
machine learning
Type d'issue
Bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
En attente d'un mainteneur
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
PythonGit
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
65