open-mmlab/mmrotate

[Feature] WANDB validation metrics

Open

#828 geöffnet am 24. Apr. 2023

Auf GitHub ansehen
 (1 Kommentar) (0 Reaktionen) (2 zugewiesene Personen)Python (641 Forks)github user discovery
good first issue

Repository-Metriken

Stars
 (2.141 Stars)
PR-Merge-Metriken
 (Keine gemergten PRs in 30 T)

Beschreibung

What's the feature?

I'm running training sessions based on the REDET base config with an added WANDB hook:

base_cfg.log_config.hooks = [
    dict(type='TextLoggerHook'),
    dict(type='TensorboardLoggerHook'),
    dict(type='MMDetWandbHook',
         init_kwargs=train_cfg['wandb_config'],
         interval=10,
         log_checkpoint=False,
         log_checkpoint_metadata=False,
         num_eval_images=100,
         bbox_score_thr=0.3)
]

Currently the WANDB hook only reports mAP for validation epochs image

I need to track recall as well, which is calculated and available in the training log, but not in WANDB. Ideally, I'd like to also see recall and precision for various classes and object sizes.

Am I missing something about the hook? Do I need to create a new hook? If I do, how do I access all available metrics?

Any other context?

No response

Contributor Guide

Research-Richtung
Untersuchen Sie, wie Sie den MMDetWandbHook erweitern können, um zusätzliche Metriken wie Recall und Precision zu protokollieren. Sehen Sie sich den Quellcode des Hooks in mmdetection an und prüfen Sie, wie auf Validierungsmetriken zugegriffen wird. Erwägen Sie, den Hook zu unterklassifizieren oder die Evaluierungspipeline zu ändern, um diese Metriken zu protokollieren.
Tech Stack
pythonpytorch
Domain
machine learningai
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-2 Tage
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Meist klar
Voraussetzungen
PythonPyTorchmmdetectionmmrotate
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
40