Fix scaling in attention computation
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 3/5
- Geschätzter Aufwand
- 1-2 Tage
- Anfängerfreundlichkeit
- 45/100
- Issue-Typ
- Bug
- Klarheit
- Größtenteils klar
- Aktivitätsstatus
- Veraltet
- Tech-Stack
- jupyter-notebook
- Bereich
- machine-learning
Rechercherichtung
Es ist keine Datei oder kein Test angegeben. Finde die Attention-Berechnung im Notebook oder Quellcode, ermittle die rohe Attention und ihre Dimension und prüfe, wie der Trainingsverlust gemessen wird. Erledigt bedeutet, dass die rohe Attention durch die Quadratwurzel ihrer Dimension skaliert wird und die vorhandenen Prüfungen im Notebook oder Test erfolgreich sind.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
Currently we are not dividing the raw attention by the square root of dimension, when we should.
It's possible that this explains some of the losses peaks during training of tiny models.
- Vorherrschende Sprache
- Jupyter Notebook
- Sterne
- 24
- Forks
- 6
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Entwicklungsumgebung
- Kein Dockerfile und keine Docker-Compose-Datei
- Keine Pull-Request-Vorlage
- Beitragsleitfaden lesen
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus PAIR-code/tiny-transformers
-
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 25/100
-
Add support for cross-entropy loss with integer labelsEvtl. wieder frei @aliciafmachado hat das vor 606 Tagen übernommen, und es ist kein Pull Request offen. Offenenhancement
PAIR-code/tiny-transformers#60 · 1 zugewiesene Person ·
-
Refactor transformer_gtensor.ts and gpt2.ts to share functions in a common fileEvtl. wieder frei @aliciafmachado hat das vor 638 Tagen übernommen, und es ist kein Pull Request offen. Offenenhancement
PAIR-code/tiny-transformers#54 · 1 zugewiesene Person ·
-
Add GPT2 tokenizerEvtl. wieder frei @aliciafmachado hat das vor 638 Tagen übernommen, und es ist kein Pull Request offen. Offen
PAIR-code/tiny-transformers#52 · 1 zugewiesene Person ·
-
Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 35/100
Alle Issues in PAIR-code/tiny-transformers
Ähnliche Issues
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
aws/sagemaker-python-sdk#6495 ·
Maintainer antworten meist innerhalb von 2 Tagen
-
area/tracking bug triage: reproduced
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 62/100
mlflow/mlflow#26809 · 1 Kommentar ·
Maintainer antworten meist innerhalb von 1 Tag
-
good first issue
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 82/100
-
Questions crashes on a real SQuAD2 no-answer predictionEvtl. vergeben @HuaTNA hat das heute übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
Maintainer antworten meist innerhalb von 1 Tag
-
[Bug Report] FrankaKitchen does not implement compute_terminated or compute_truncatedEvtl. vergeben @paneendrakumar0 hat das heute übernommen. Offenbug
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
Farama-Foundation/Gymnasium-Robotics#356 ·
Maintainer antworten meist innerhalb von 1 Tag