Refactor transformer_gtensor.ts and gpt2.ts to share functions in a common file

Ouverte

#54 ouverte le 16/1/2025 0 commentaires 0 réactions 1 personne assignée Voir sur GitHub

@aliciafmachado y travaille déjà.

Depuis le 16/1/2025.

Évaluation

Cette issue n'a pas encore été évaluée.

enhancement

Add a common file having useful functions for all types of architectures instead of duplicating them whenever we add a new transformer architecture.

Lisez l'issue en entier, puis le guide de contribution du projet.
Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
Forkez le dépôt et travaillez sur une branche.
Ouvrez une pull request qui référence le numéro de l'issue.

Fix scaling in attention computation
Ouverte
- Quelque chose ne va pas ?
Difficulté 3/5 1-2 jours Accessibilité débutants 45/100

PAIR-code/tiny-transformers#71 · Ouverte le 29/4/2025
Support running scripts with Nodejs or Deno, including webgpu support
Ouverte
- Quelque chose ne va pas ?
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 25/100

PAIR-code/tiny-transformers#62 · Ouverte le 19/2/2025
Add support for cross-entropy loss with integer labels
Peut-être à nouveau libre @aliciafmachado l’a pris il y a 604 jours, et aucune pull request n’est ouverte. Ouverte
- Quelque chose ne va pas ?
enhancement

PAIR-code/tiny-transformers#60 · 1 personne assignée · Ouverte le 17/2/2025
Add GPT2 tokenizer
Peut-être à nouveau libre @aliciafmachado l’a pris il y a 636 jours, et aucune pull request n’est ouverte. Ouverte
- Quelque chose ne va pas ?
PAIR-code/tiny-transformers#52 · 1 personne assignée · Ouverte le 16/1/2025
Fix typos in the codebase
Ouverte
- Quelque chose ne va pas ?
Difficulté 3/5 1-2 jours Accessibilité débutants 35/100

PAIR-code/tiny-transformers#51 · Ouverte le 16/1/2025