Hacktoberfest 2026: as issues que os mantenedores marcaram para outubro, abertas e boas para iniciantes. Ver issues do Hacktoberfest

Fix scaling in attention computation

Aberta
  • Algo errado?
#71 0 comentários 0 reações 0 responsáveis Ver no GitHub

Ninguém assumiu esta issue ainda.

Avaliação

Dificuldade
3/5
Tempo estimado
1-2 dias
Facilidade para iniciantes
45/100
Tipo de issue
Bug
Clareza
Razoavelmente clara
Status de atividade
Estagnada
Stack de tecnologia
jupyter-notebook
Domínio
machine-learning

Direção de pesquisa

Nenhum arquivo ou teste é especificado. Localize o cálculo de attention no notebook ou no código-fonte, identifique a attention bruta e sua dimensão e examine como a perda de treinamento é medida. Considera-se concluído quando a attention bruta é escalada pela raiz quadrada de sua dimensão e as verificações existentes do notebook ou teste passam.

Escrita pelo modelo de indexação a partir do texto da issue.

Descrição

Currently we are not dividing the raw attention by the square root of dimension, when we should.

It's possible that this explains some of the losses peaks during training of tiny models.

Linguagem predominante
Jupyter Notebook
Estrelas
24
Forks
6
Nenhum PR com merge em 30d

Preparar o ambiente

Primeiros passos

  1. Leia a issue inteira e depois o guia de contribuição do projeto.
  2. Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
  3. Faça um fork do repositório e trabalhe em uma branch.
  4. Abra um pull request que referencie o número da issue.

Mais de PAIR-code/tiny-transformers

Todas as issues de PAIR-code/tiny-transformers

Issues semelhantes

Mais issues de Machine Learning

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.