Fix scaling in attention computation
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 3/5
- Tiempo estimado
- 1-2 días
- Aptitud para principiantes
- 45/100
- Tipo de issue
- Error
- Claridad
- Bastante claro
- Estado de actividad
- Estancado
- Stack tecnológico
- jupyter-notebook
- Área
- machine-learning
Línea de trabajo
No se indica ningún archivo ni prueba. Localiza el cálculo de attention en el notebook o en el código fuente, identifica la attention sin procesar y su dimensión, y examina cómo se mide la pérdida de entrenamiento. Se considera terminado cuando la attention sin procesar se escala por la raíz cuadrada de su dimensión y pasan las comprobaciones existentes del notebook o de la prueba.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Currently we are not dividing the raw attention by the square root of dimension, when we should.
It's possible that this explains some of the losses peaks during training of tiny models.
- Lenguaje dominante
- Jupyter Notebook
- Estrellas
- 24
- Forks
- 6
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Sin plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de PAIR-code/tiny-transformers
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
-
Add support for cross-entropy loss with integer labelsQuizá libre de nuevo @aliciafmachado la tomó hace 603 días y no hay ningún pull request abierto. Abiertoenhancement
PAIR-code/tiny-transformers#60 · 1 asignado ·
-
Refactor transformer_gtensor.ts and gpt2.ts to share functions in a common fileQuizá libre de nuevo @aliciafmachado la tomó hace 636 días y no hay ningún pull request abierto. Abiertoenhancement
PAIR-code/tiny-transformers#54 · 1 asignado ·
-
Add GPT2 tokenizerQuizá libre de nuevo @aliciafmachado la tomó hace 636 días y no hay ningún pull request abierto. Abierto
PAIR-code/tiny-transformers#52 · 1 asignado ·
-
Fix typos in the codebaseAbierto
Dificultad 3/5 1-2 días Aptitud para principiantes 35/100
Todos los issues de PAIR-code/tiny-transformers
Issues similares
-
Non-positive worker counts wait for results without starting workersPosiblemente ocupada @IlyaKhalafi la tomó hoy. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 85/100
Los mantenedores suelen responder en 1 día
-
HFLM ignores bare xpu, hpu, and npu device namesPosiblemente ocupada @sdivyanshu90 la tomó hoy. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
EleutherAI/lm-evaluation-harness#4386 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 74/100
-
1D intercept of length 1 is accepted as `fix_params` in population GLM with more than 1 unitPosiblemente ocupada @dhvani7014 la tomó hoy. Abiertobug good first issue
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
flatironinstitute/nemos#642 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
aws/sagemaker-python-sdk#6459 ·
Los mantenedores suelen responder en 2 días