IBM/ModuleFormer
Ver no GitHubModuleFormer is a MoE-based architecture that includes two different types of experts: stick-breaking attention heads and feedforward experts. We released a collection of ModuleFormer-based Language Models (MoLM) ranging in scale from 4 billion to 8 billion parameters.
- Estrelas
- 225
- Forks
- 12
- Issues abertas para iniciantes
- 1
- Issues indexadas
- 3
- Linguagem predominante
- Python
- Licença
- Apache-2.0
- Último push no GitHub
- 2/1/2024
- Última indexação
- 17/9/2026
- Guia de contribuição
- Sem guia de contribuição
- Código de conduta
- Sem código de conduta
- Labels para iniciantes
- Nenhum label para iniciantes indexado
- Métricas de merge de PRs
- Nenhum PR com merge em 30d
Carregando issues
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 62/100
IBM/ModuleFormer#13 ·
-
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 15/100
IBM/ModuleFormer#11 ·
-
Length exploration Aberta
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 20/100
IBM/ModuleFormer#9 ·