Fix scaling in attention computation
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 3/5
- Temps estimé
- 1-2 jours
- Accessibilité débutants
- 45/100
- Type d'issue
- Bug
- Clarté
- Plutôt claire
- Activité
- À l'abandon
- Stack technique
- jupyter-notebook
- Domaine
- machine-learning
Piste de recherche
Aucun fichier ni test n'est nommé. Localisez le calcul de l'attention dans le notebook ou le code source, identifiez l'attention brute et sa dimension, et examinez comment la perte d'entraînement est mesurée. C'est terminé lorsque l'attention brute est mise à l'échelle par la racine carrée de sa dimension et que les vérifications existantes du notebook ou du test réussissent.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
Currently we are not dividing the raw attention by the square root of dimension, when we should.
It's possible that this explains some of the losses peaks during training of tiny models.
- Langage dominant
- Jupyter Notebook
- Étoiles
- 24
- Forks
- 6
- Métriques de merge des PR
- Aucune PR mergée en 30 j
Préparer son environnement
- Aucun Dockerfile ni fichier Docker Compose
- Aucun modèle de pull request
- Lire le guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de PAIR-code/tiny-transformers
-
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 25/100
-
Add support for cross-entropy loss with integer labelsPeut-être à nouveau libre @aliciafmachado l’a pris il y a 607 jours, et aucune pull request n’est ouverte. Ouverteenhancement
PAIR-code/tiny-transformers#60 · 1 personne assignée ·
-
Refactor transformer_gtensor.ts and gpt2.ts to share functions in a common filePeut-être à nouveau libre @aliciafmachado l’a pris il y a 640 jours, et aucune pull request n’est ouverte. Ouverteenhancement
PAIR-code/tiny-transformers#54 · 1 personne assignée ·
-
Add GPT2 tokenizerPeut-être à nouveau libre @aliciafmachado l’a pris il y a 640 jours, et aucune pull request n’est ouverte. Ouverte
PAIR-code/tiny-transformers#52 · 1 personne assignée ·
-
Fix typos in the codebaseOuverte
Difficulté 3/5 1-2 jours Accessibilité débutants 35/100
Toutes les issues de PAIR-code/tiny-transformers
Issues similaires
-
Difficulté 2/5 1-3 heures Accessibilité débutants 76/100
-
[Bug]: SparseGPTModifier and WandaPruningModifier prune modules listed by exact name in `ignore`Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 90/100
vllm-project/llm-compressor#3304 ·
Les mainteneurs répondent en général sous 1 jour
-
MiniMax provider forces `thinking: disabled`, which MiniMax-M3.1-Flash-Preview rejects with HTTP 400Ouvertecore
Difficulté 2/5 1-3 heures Accessibilité débutants 84/100
vectorize-io/hindsight#5718 ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 62/100
mlr-org/mlr3cmprsk#42 ·
Les mainteneurs répondent en général sous 1 jour
-
StructuredCovEstimator crashes for one factor and uses inconsistent residual variancePeut-être pris @Divyansh151005 l’a pris il y a 1 jour. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
microsoft/qlib#2377 · 1 commentaire ·
Les mainteneurs répondent en général sous 3 jours