facebookresearch/ParlAI

Support tied positional weights in transformers

Open

#2 184 ouverte le 19 nov. 2019

Voir sur GitHub
 (1 commentaire) (0 réactions) (0 assignés)Python (2 089 forks)batch import
EnhancementH1 2020Help WantedMediumdonotreap

Métriques du dépôt

Stars
 (10 371 stars)
Métriques de merge PR
 (Aucune PR mergée en 30 j)

Description

Add a flag to use tied positional embeddings in transformer/generator and transformer/retrieval, and implement the tied weights. Should be False by default for backwards compatibility, and upgrade_opt should be used to migrate old models.

Guide contributeur

Direction de recherche
Examinez le générateur transformer et les modules de récupération dans ParlAI (probablement sous parlai/agents/transformer/). Passez en revue la mise en œuvre actuelle des plongements positionnels. Ajoutez un nouveau drapeau booléen pour les poids positionnels liés, par défaut à False. Implémentez la logique des poids liés et utilisez upgrade opt pour gérer la migration des anciens modèles. Consultez les commentaires de l'issue #2184 pour toute orientation supplémentaire.
Stack technique
python
Domaine
machine learning
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Récente
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
Understanding of transformer architecturesFamiliarity with ParlAI codebasePython programming
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
30