Add torch fallbacks for KDA and GDN layers.

Abierto
#406 0 comentarios 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
4/5
Tiempo estimado
3-5 días
Aptitud para principiantes
30/100
Tipo de issue
Nueva funcionalidad
Claridad
Bastante claro
Estado de actividad
Estancado
Stack tecnológico
python, pytorch

Línea de trabajo

The payload names only tests/test_attention.py as the place the KDA and GDN unit tests need to match the existing attention structure, and points to #395 for context, which is not included. Start by reading that test file and the existing attention test pattern, then locate the KDA and GDN layer implementations. Done means each layer has a torch fallback path and its tests follow the same structure as the other attention tests.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

See comments in #395.

  • add torch fallbacks
  • adapt kda and gdn unit tests to adhere to attention structure (Fast-LLM/tests/test_attention.py)

Postponed because this is not on the critical path.

Lenguaje dominante
Python
Estrellas
337
Forks
52
Métricas de merge de PR
Sin PR fusionados en 30 d

Preparar el entorno

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de ServiceNow/Fast-LLM

Todos los issues de ServiceNow/Fast-LLM

Issues similares

Más issues de Python

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.