facebookresearch/fairseq

Add functionality for logging to Comet

Open

#4.156 geöffnet am 26. Jan. 2022

Auf GitHub ansehen
 (2 Kommentare) (1 Reaktion) (0 zugewiesene Personen)Python (6.224 Forks)batch import
enhancementhelp wantedneeds triage

Repository-Metriken

Stars
 (29.107 Stars)
PR-Merge-Metriken
 (Keine gemergten PRs in 30 T)

Beschreibung

🚀 Feature Request

Add functionality to log fairseq model parameters and metrics to Comet

Motivation

To support fairseq users who want to use Comet to manage their experiments.

Pitch

Add a Comet logger to fairseq/logging/progress_bar.py in a manner similar to Azure ML and Weights and Biases

Alternatives

No alternatives as this is meant to extend functionality

Additional context

We have prepared a draft PR adding this functionality #4069

Here is an example of a logged fairseq experiment in Comet https://www.comet.ml/dsblank/fairseq/373f319055a04284aed6c3bfca1ae05f?experiment-tab=chart&showOutliers=true&smoothing=0&transformY=smoothing&xAxis=step

Contributor Guide

Research-Richtung
Überprüfen Sie die vorhandenen Logger für Azure ML (Zeilen ~445) und Weights and Biases (Zeilen ~392) in `fairseq/logging/progress bar.py`, um die erwartete Schnittstelle zu verstehen. Der Entwurf PR #4069 enthält einen vorgeschlagenen Implementierungsentwurf. Recherchieren Sie die Comet Python API zum Protokollieren von Metriken und Parametern. Das Issue fordert die Hinzufügung eines ähnlichen Loggers für Comet, der den Mustern der bestehenden Logger folgt.
Tech Stack
python
Domain
developer experiencetooling
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-2 Tage
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
PythonGit
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
70