Create a Gemma compatible transformer implementation
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 30/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Bastante claro
- Estado de actividad
- Estancado
- Stack tecnológico
- jupyter-notebook
- Área
- machine-learning
Línea de trabajo
No se nombran archivos ni pruebas. Empieza leyendo las implementaciones de Transformer existentes en el repositorio e identifica el punto de entrada para cargar los pesos del modelo; compara su codificación posicional, sus conexiones de salto y el comportamiento de la atención con el estándar de Gemma. Se considera terminado cuando la nueva implementación pueda cargar y evaluar un archivo de pesos de Gemma.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Different transformer implementations have variations (e.g. in positional encoding, where skip connections are, use of MQA, etc). Lets provide a Gemma standard implementation of transformers. This could be verified by being able to load and evaluate with a Gemma weights file.
- Lenguaje dominante
- Jupyter Notebook
- Estrellas
- 24
- Forks
- 6
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Sin plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de PAIR-code/tiny-transformers
-
Dificultad 3/5 1-2 días Aptitud para principiantes 45/100
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
-
Add support for cross-entropy loss with integer labelsQuizá libre de nuevo @aliciafmachado la tomó hace 604 días y no hay ningún pull request abierto. Abiertoenhancement
PAIR-code/tiny-transformers#60 · 1 asignado ·
-
Refactor transformer_gtensor.ts and gpt2.ts to share functions in a common fileQuizá libre de nuevo @aliciafmachado la tomó hace 636 días y no hay ningún pull request abierto. Abiertoenhancement
PAIR-code/tiny-transformers#54 · 1 asignado ·
-
Add GPT2 tokenizerQuizá libre de nuevo @aliciafmachado la tomó hace 636 días y no hay ningún pull request abierto. Abierto
PAIR-code/tiny-transformers#52 · 1 asignado ·
Todos los issues de PAIR-code/tiny-transformers
Issues similares
-
Angle brackets are not tokenizer delimiters, so `<http://…>` fuses the opening bracket to the URLAbierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 65/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
maziyarpanahi/openmed#4204 · 1 comentario ·
Los mantenedores suelen responder en 3 días
-
icu-benchmarks evaluate --eval crashes on ML classifiers: unconditional model.set_weight() callAbierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
rvandewater/YAIB#206 ·
-
Non-positive worker counts wait for results without starting workersPosiblemente ocupada @IlyaKhalafi la tomó hoy. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 85/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 65/100
Los mantenedores suelen responder en 1 día