Tencent/TurboTransformers

Refactor MultiheadAttention and other Layers

Aberta

#140 aberto em 22 de jul. de 2020

Ver no GitHub
 (0 comentário) (0 reação) (0 responsável)C++ (206 forks)github user discovery
enhancementhelp wanted

Métricas do repositório

Stars
 (1.546 estrelas)
Métricas de merge de PR
 (Métricas PR pendentes)

Description

Now the logic inside MultiheadAttention Layer is too complex for development. Moreover, some bugs exist in intermediate management. It is the first priority to rewrite these codes to make others easily understand what Turbo is doing.

Guia do colaborador

Direção de pesquisa
Examine a implementação atual do MultiheadAttention, identifique caminhos de código redundantes ou com bug e refatore para uma estrutura mais simples.
Pilha de tecnologia
None
Domain
backend
Tipo Issue
Refatoração
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Recente
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
C++Transformer Models
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
45