IBM/ModuleFormer
Ver en GitHubModuleFormer is a MoE-based architecture that includes two different types of experts: stick-breaking attention heads and feedforward experts. We released a collection of ModuleFormer-based Language Models (MoLM) ranging in scale from 4 billion to 8 billion parameters.
- Estrellas
- 225
- Forks
- 12
- Issues abiertos para principiantes
- 1
- Issues indexados
- 3
- Lenguaje dominante
- Python
- Licencia
- Apache-2.0
- Último push a GitHub
- 2/1/2024
- Última indexación
- 17/9/2026
- Guía de contribución
- Sin guía de contribución
- Código de conducta
- Sin código de conducta
- Etiquetas para principiantes
- Sin etiquetas para principiantes indexadas
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Cargando issues
-
Verify evals on Papers with Code Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 62/100
IBM/ModuleFormer#13 ·
-
Will you open the train code？ Abierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 15/100
IBM/ModuleFormer#11 ·
-
Length exploration Abierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100
IBM/ModuleFormer#9 ·