facebookresearch/ParlAI

Retire custom AdamWithDecay

Open

#2 232 ouverte le 2 déc. 2019

Voir sur GitHub
 (1 commentaire) (0 réactions) (0 assignés)Python (2 089 forks)batch import
AgentsCode QualityHelp WantedMinordonotreap

Métriques du dépôt

Stars
 (10 371 stars)
Métriques de merge PR
 (Aucune PR mergée en 30 j)

Description

We have a custom Adam optimizer that says it could be removed via pytorch 1.2:

https://github.com/facebookresearch/ParlAI/blob/3a5de86667816abbdb0f08049c86d1e2c3aff03e/parlai/agents/bert_ranker/helpers.py#L242-L350

The task is to remove it and upgrade to the official pytorch version.

The helper function minimizes the pain required, though I'm wondering if we'll need to upgrade some state dicts, so make sure you run long tests. https://github.com/facebookresearch/ParlAI/blob/3a5de86667816abbdb0f08049c86d1e2c3aff03e/parlai/agents/bert_ranker/helpers.py#L205

Guide contributeur

Direction de recherche
Examinez l'implémentation personnalisée AdamWithDecay à l'adresse https://github.com/facebookresearch/ParlAI/blob/3a5de86667816abbdb0f08049c86d1e2c3aff03e/parlai/agents/bert ranker/helpers.py#L242 L350 et la fonction d'aide qui minimise la complexité. Remplacez l'optimiseur personnalisé par torch.optim.Adam, en veillant à gérer toute différence dans le dictionnaire d'état. Exécutez des tests longs pour vérifier la correction. Vérifiez si d'autres parties de la base de code dépendent de l'implémentation personnalisée.
Stack technique
pythonpytorch
Domaine
machine learningbackend
Type d'issue
Refactorisation
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Récente
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
Familiarity with PyTorch optimizersUnderstanding of state dict migration
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
40