facebookresearch/fairseq

Add functionality for logging to Comet

Open

#4156 aperta il 26 gen 2022

Vedi su GitHub
 (2 commenti) (1 reazione) (0 assegnatari)Python (6224 fork)batch import
enhancementhelp wantedneeds triage

Metriche repository

Star
 (29.107 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

🚀 Feature Request

Add functionality to log fairseq model parameters and metrics to Comet

Motivation

To support fairseq users who want to use Comet to manage their experiments.

Pitch

Add a Comet logger to fairseq/logging/progress_bar.py in a manner similar to Azure ML and Weights and Biases

Alternatives

No alternatives as this is meant to extend functionality

Additional context

We have prepared a draft PR adding this functionality #4069

Here is an example of a logged fairseq experiment in Comet https://www.comet.ml/dsblank/fairseq/373f319055a04284aed6c3bfca1ae05f?experiment-tab=chart&showOutliers=true&smoothing=0&transformY=smoothing&xAxis=step

Guida contributor

Direzione di ricerca
Esamina i logger esistenti per Azure ML (righe ~445) e Weights and Biases (righe ~392) in `fairseq/logging/progress bar.py` per comprendere l'interfaccia prevista. La PR bozza #4069 contiene un'implementazione proposta. Ricerca l'API Python di Comet per la registrazione di metriche e parametri. La richiesta del problema è di aggiungere un logger simile per Comet, seguendo i modelli dei logger esistenti.
Tech stack
python
Dominio
developer experiencetooling
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonGit
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
70