Fix scaling in attention computation
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 3/5
- Tempo stimato
- 1-2 giorni
- Idoneità per principianti
- 45/100
- Tipo di issue
- Bug
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Ferma
- Stack tecnologico
- jupyter-notebook
- Ambito
- machine-learning
Direzione di ricerca
Non è indicato alcun file o test. Individua il calcolo dell'attention nel notebook o nel codice sorgente, identifica l'attention grezza e la sua dimensione e verifica come viene misurata la perdita di addestramento. Il lavoro è completato quando l'attention grezza viene scalata per la radice quadrata della sua dimensione e i controlli esistenti del notebook o del test hanno esito positivo.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Currently we are not dividing the raw attention by the square root of dimension, when we should.
It's possible that this explains some of the losses peaks during training of tiny models.
- Lingua principale
- Jupyter Notebook
- Stelle
- 24
- Fork
- 6
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di PAIR-code/tiny-transformers
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
-
Add support for cross-entropy loss with integer labelsForse di nuovo libera @aliciafmachado l’ha presa 605 giorni fa e non c’è nessuna pull request aperta. Apertaenhancement
PAIR-code/tiny-transformers#60 · 1 assegnatario ·
-
Refactor transformer_gtensor.ts and gpt2.ts to share functions in a common fileForse di nuovo libera @aliciafmachado l’ha presa 637 giorni fa e non c’è nessuna pull request aperta. Apertaenhancement
PAIR-code/tiny-transformers#54 · 1 assegnatario ·
-
Add GPT2 tokenizerForse di nuovo libera @aliciafmachado l’ha presa 638 giorni fa e non c’è nessuna pull request aperta. Aperta
PAIR-code/tiny-transformers#52 · 1 assegnatario ·
-
Fix typos in the codebaseAperta
Difficoltà 3/5 1-2 giorni Idoneità per principianti 35/100
Tutte le issue di PAIR-code/tiny-transformers
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
huggingface/sentence-transformers#4186 ·
I maintainer di solito rispondono entro 5 giorni
-
bot-triaged module: correctness (silent) module: mps module: NaNs and Infs triage review
Difficoltà 2/5 Mezza giornata Idoneità per principianti 62/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 74/100
NVIDIA/structured-data-models#1156 ·
I maintainer di solito rispondono entro 1 giorno
-
`_AdverserialFairness` base class should not set the classes_ attribute for regressorsForse già presa @kocaemre l’ha presa oggi. Apertabug python
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
I maintainer di solito rispondono entro 1 giorno
-
[Docs] Docs for Async GRPO and the Harbor example still use Qwen3.5, which will crash on startupAperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
huggingface/trl#7761 ·
I maintainer di solito rispondono entro 1 giorno