Create a Gemma compatible transformer implementation
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 5/5
- Temps estimé
- Plus d'une semaine
- Accessibilité débutants
- 30/100
- Type d'issue
- Fonctionnalité
- Clarté
- Plutôt claire
- Activité
- À l'abandon
- Stack technique
- jupyter-notebook
- Domaine
- machine-learning
Piste de recherche
Aucun fichier ni test n'est nommé. Commencez par lire les implémentations de Transformer existantes dans le dépôt et identifiez le point d'entrée pour charger les poids du modèle ; comparez leur encodage positionnel, leurs connexions résiduelles et leur comportement d'attention avec le standard Gemma. C'est terminé lorsque la nouvelle implémentation peut charger et évaluer un fichier de poids Gemma.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
Different transformer implementations have variations (e.g. in positional encoding, where skip connections are, use of MQA, etc). Lets provide a Gemma standard implementation of transformers. This could be verified by being able to load and evaluate with a Gemma weights file.
- Langage dominant
- Jupyter Notebook
- Étoiles
- 24
- Forks
- 6
- Métriques de merge des PR
- Aucune PR mergée en 30 j
Préparer son environnement
- Aucun Dockerfile ni fichier Docker Compose
- Aucun modèle de pull request
- Lire le guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de PAIR-code/tiny-transformers
-
Difficulté 3/5 1-2 jours Accessibilité débutants 45/100
-
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 25/100
-
Add support for cross-entropy loss with integer labelsPeut-être à nouveau libre @aliciafmachado l’a pris il y a 604 jours, et aucune pull request n’est ouverte. Ouverteenhancement
PAIR-code/tiny-transformers#60 · 1 personne assignée ·
-
Refactor transformer_gtensor.ts and gpt2.ts to share functions in a common filePeut-être à nouveau libre @aliciafmachado l’a pris il y a 636 jours, et aucune pull request n’est ouverte. Ouverteenhancement
PAIR-code/tiny-transformers#54 · 1 personne assignée ·
-
Add GPT2 tokenizerPeut-être à nouveau libre @aliciafmachado l’a pris il y a 636 jours, et aucune pull request n’est ouverte. Ouverte
PAIR-code/tiny-transformers#52 · 1 personne assignée ·
Toutes les issues de PAIR-code/tiny-transformers
Issues similaires
-
Non-positive worker counts wait for results without starting workersPeut-être pris @IlyaKhalafi l’a pris aujourd’hui. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 85/100
Les mainteneurs répondent en général sous 1 jour
-
HFLM ignores bare xpu, hpu, and npu device namesPeut-être pris @sdivyanshu90 l’a pris aujourd’hui. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 82/100
EleutherAI/lm-evaluation-harness#4386 ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 62/100
-
Difficulté 2/5 1-3 heures Accessibilité débutants 74/100
-
1D intercept of length 1 is accepted as `fix_params` in population GLM with more than 1 unitPeut-être pris @dhvani7014 l’a pris aujourd’hui. Ouvertebug good first issue
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
flatironinstitute/nemos#642 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour