IBM/ModuleFormer
在 GitHub 查看ModuleFormer is a MoE-based architecture that includes two different types of experts: stick-breaking attention heads and feedforward experts. We released a collection of ModuleFormer-based Language Models (MoLM) ranging in scale from 4 billion to 8 billion parameters.
- 星标
- 225
- 派生
- 12
- 开放的新手 issue
- 0
- 已索引 issue
- 3
- 主要语言
- Python
- 许可证
- Apache-2.0
- 最近 GitHub push
- 2024年1月2日
- 最近索引
- 2026年9月17日
- 贡献指南
- 没有贡献指南
- 行为准则
- 没有行为准则
- 新手标签
- 没有已索引的新手标签
- PR 合并指标
- 30 天内没有已合并 PR
-
难度 2/5 1-3 小时 新手友好度 62/100
IBM/ModuleFormer#13 ·
-
难度 5/5 一周以上 新手友好度 15/100
IBM/ModuleFormer#11 ·
-
难度 5/5 一周以上 新手友好度 20/100
IBM/ModuleFormer#9 ·