IBM/ModuleFormer
在 GitHub 檢視ModuleFormer is a MoE-based architecture that includes two different types of experts: stick-breaking attention heads and feedforward experts. We released a collection of ModuleFormer-based Language Models (MoLM) ranging in scale from 4 billion to 8 billion parameters.
- 星號
- 225
- 分支
- 12
- 開放的新手 issue
- 1
- 已索引 issue
- 3
- 主要語言
- Python
- 授權條款
- Apache-2.0
- 最近 GitHub push
- 2024年1月2日
- 最近索引
- 2026年9月17日
- 貢獻指南
- 沒有貢獻指南
- 行為準則
- 沒有行為準則
- 新手標籤
- 沒有已索引的新手標籤
- PR 合併指標
- 30 天內沒有已合併 PR
-
難度 2/5 1-3 小時 新手友好度 62/100
IBM/ModuleFormer#13 ·
-
難度 5/5 一週以上 新手友好度 15/100
IBM/ModuleFormer#11 ·
-
難度 5/5 一週以上 新手友好度 20/100
IBM/ModuleFormer#9 ·