ContinualAI/avalanche

Using validation set for early stopping

Open

#904 geöffnet am 4. Feb. 2022

Auf GitHub ansehen
 (0 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Python (258 Forks)batch import
Evaluationbuggood first issue

Repository-Metriken

Stars
 (1.516 Stars)
PR-Merge-Metriken
 (Keine gemergten PRs in 30 T)

Beschreibung

Discussed in https://github.com/ContinualAI/avalanche/discussions/900

Originally posted by sivomke January 30, 2022 Hi, everyone!

I have created a benchmark with dataset_benchmark that contains 3 experiences, and then have added a validation set to this benchmark with benchmark_with_validation_stream. I am trying to use Early Stopping with validation set: for each experience, I would like to use loss on the validation set of the corresponding experience. I have indicated metric_name = 'Loss_Exp' and val_stream_name='valid' , however, it still uses Loss_Exp/eval_phase/train_stream of the corresponding experience instead. Could you please tell me what would be the correct way to use validation set for early stopping?

Here is the script

Thank you!

Contributor Guide

Research-Richtung
Untersuche die Implementierung des EarlyStop Callbacks in Avalanche, um zu verstehen, wie es den Stream fur Validierungsmetriken auswahlt. Konzentriere dich auf die Parameter `metric name` und `val stream name`. Stelle fest, warum die Angabe von `val stream name='valid'` das Standardverhalten, den Trainingsstream zu verwenden, nicht uberschreibt. Uberprufe die Erstellung des Benchmarks und die Zuweisung des Validierungsstreams.
Tech Stack
pythonpytorch
Domain
machine learning
Issue Type
Fehler
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 Stunden
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Wartet auf Maintainer Antwort
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
PythonGit
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
65