facebookresearch/fairseq

Add functionality for logging to Comet

Open

#4 156 ouverte le 26 janv. 2022

Voir sur GitHub
 (2 commentaires) (1 réaction) (0 assignés)Python (6 224 forks)batch import
enhancementhelp wantedneeds triage

Métriques du dépôt

Stars
 (29 107 stars)
Métriques de merge PR
 (Aucune PR mergée en 30 j)

Description

🚀 Feature Request

Add functionality to log fairseq model parameters and metrics to Comet

Motivation

To support fairseq users who want to use Comet to manage their experiments.

Pitch

Add a Comet logger to fairseq/logging/progress_bar.py in a manner similar to Azure ML and Weights and Biases

Alternatives

No alternatives as this is meant to extend functionality

Additional context

We have prepared a draft PR adding this functionality #4069

Here is an example of a logged fairseq experiment in Comet https://www.comet.ml/dsblank/fairseq/373f319055a04284aed6c3bfca1ae05f?experiment-tab=chart&showOutliers=true&smoothing=0&transformY=smoothing&xAxis=step

Guide contributeur

Direction de recherche
Examinez les enregistreurs (loggers) existants pour Azure ML (lignes ~445) et Weights and Biases (lignes ~392) dans `fairseq/logging/progress bar.py` pour comprendre l'interface attendue. La PR brouillon #4069 contient une implémentation proposée. Recherchez l'API Python de Comet pour enregistrer des métriques et des paramètres. La demande de cette issue est d'ajouter un enregistreur similaire pour Comet, en suivant les modèles des enregistreurs existants.
Stack technique
python
Domaine
developer experiencetooling
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
PythonGit
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
70