facebookresearch/ParlAI

Support tied positional weights in transformers

Open

#2.184 aberto em 19 de nov. de 2019

Ver no GitHub
 (1 comment) (0 reactions) (0 assignees)Python (2.089 forks)batch import
EnhancementH1 2020Help WantedMediumdonotreap

Métricas do repositório

Stars
 (10.371 stars)
Métricas de merge de PR
 (Nenhuma PRs mesclada em 30d)

Description

Add a flag to use tied positional embeddings in transformer/generator and transformer/retrieval, and implement the tied weights. Should be False by default for backwards compatibility, and upgrade_opt should be used to migrate old models.

Guia do colaborador

Direção de pesquisa
Examine o gerador transformer e os módulos de recuperação no ParlAI (provavelmente em parlai/agents/transformer/). Revise como os embeddings posicionais são atualmente implementados. Adicione um novo sinalizador booleano para pesos posicionais atrelados, com padrão False. Implemente a lógica de pesos atrelados e use upgrade opt para lidar com a migração de modelos antigos. Verifique os comentários da issue #2184 para quaisquer orientações adicionais.
Pilha de tecnologia
python
Domain
machine learning
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Recente
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
Understanding of transformer architecturesFamiliarity with ParlAI codebasePython programming
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
30