EnzymeAD/Reactant.jl

Missing neural network operations

Open

#250 aberto em 9 de nov. de 2024

Ver no GitHub
 (0 comments) (0 reactions) (0 assignees)Julia (64 forks)github user discovery
good first issue

Métricas do repositório

Stars
 (336 stars)
Métricas de merge de PR
 (Métricas PR pendentes)

Description

NNlib

  • activations
    • tanh_fast
    • sigmoid
    • sigmoid_fast
  • softmax!
  • logsoftmax!
  • conv / conv! (#258)
  • maxpool / maxpool! (#258)
  • meanpool / meanpool! (#258)
  • batched_mul / batched_mul! (#258)
  • padding
    • pad_constant
    • pad_circular
    • pad_repeat
    • pad_zeros
    • pad_reflect
    • pad_symmetric
  • ∇conv_data / ∇conv_data!
  • ∇conv_filter / ∇conv_filter!
  • gather / gather!
  • scatter / scatter! https://github.com/EnzymeAD/Reactant.jl/pull/1395
  • dot_product_attention
  • pixel_shuffle
  • batchnorm (has a special stablehlo impl) - this needs to wait for a corresponding adjoint on EnzymeJAX end
  • grid_sample / grid_sample!
  • upsampling
    • nearest
    • linear
    • bilinear
    • trilinear
  • fold / fold!
  • unfold / unfold!

Some of these might not even be needed, but we should test the generated IR. Strikethrough denotes we don't need specialized handling for these operations

Feel free to add missing operations to the list

Guia do colaborador

Direção de pesquisa
Examine as implementações existentes de operações de redes neurais, como conv ou batchnorm, no código fonte do Reactant.jl. Entenda o padrão para registrar uma nova operação e implementar seus passos forward e backward. Depois, implemente grid sample/grid sample! seguindo esse padrão.
Pilha de tecnologia
None
Domain
backendmachine learning
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
4
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Mais de 1 semana
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
Julia
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
30