Create a Gemma compatible transformer implementation
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Anfängerfreundlichkeit
- 30/100
- Issue-Typ
- Feature
- Klarheit
- Größtenteils klar
- Aktivitätsstatus
- Veraltet
- Tech-Stack
- jupyter-notebook
- Bereich
- machine-learning
Rechercherichtung
Es werden keine Dateien oder Tests genannt. Lies zunächst die vorhandenen Transformer-Implementierungen des Repositorys und ermittle den Einstiegspunkt zum Laden von Modellgewichten; vergleiche deren Positionskodierung, Skip Connections und Attention-Verhalten mit dem Gemma-Standard. Als abgeschlossen gilt die Aufgabe, wenn die neue Implementierung eine Gemma-Gewichtsdatei laden und auswerten kann.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
Different transformer implementations have variations (e.g. in positional encoding, where skip connections are, use of MQA, etc). Lets provide a Gemma standard implementation of transformers. This could be verified by being able to load and evaluate with a Gemma weights file.
- Vorherrschende Sprache
- Jupyter Notebook
- Sterne
- 24
- Forks
- 6
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Entwicklungsumgebung
- Kein Dockerfile und keine Docker-Compose-Datei
- Keine Pull-Request-Vorlage
- Beitragsleitfaden lesen
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus PAIR-code/tiny-transformers
-
Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 45/100
-
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 25/100
-
Add support for cross-entropy loss with integer labelsEvtl. wieder frei @aliciafmachado hat das vor 604 Tagen übernommen, und es ist kein Pull Request offen. Offenenhancement
PAIR-code/tiny-transformers#60 · 1 zugewiesene Person ·
-
Refactor transformer_gtensor.ts and gpt2.ts to share functions in a common fileEvtl. wieder frei @aliciafmachado hat das vor 637 Tagen übernommen, und es ist kein Pull Request offen. Offenenhancement
PAIR-code/tiny-transformers#54 · 1 zugewiesene Person ·
-
Add GPT2 tokenizerEvtl. wieder frei @aliciafmachado hat das vor 637 Tagen übernommen, und es ist kein Pull Request offen. Offen
PAIR-code/tiny-transformers#52 · 1 zugewiesene Person ·
Alle Issues in PAIR-code/tiny-transformers
Ähnliche Issues
-
bug
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
-
ManualStateFeatureWeighting accepts non-positive weights leading to NaN/inf lossEvtl. vergeben @Shivampal157 hat das heute übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 80/100
mllam/neural-lam#787 · 1 Kommentar ·
Maintainer antworten meist innerhalb von 2 Tagen
-
Angle brackets are not tokenizer delimiters, so `<http://…>` fuses the opening bracket to the URLOffen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 65/100
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 68/100
maziyarpanahi/openmed#4204 · 1 Kommentar ·
Maintainer antworten meist innerhalb von 3 Tagen
-
icu-benchmarks evaluate --eval crashes on ML classifiers: unconditional model.set_weight() callOffen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 70/100
rvandewater/YAIB#206 ·