IBM/ModuleFormer
GitHub で見るModuleFormer is a MoE-based architecture that includes two different types of experts: stick-breaking attention heads and feedforward experts. We released a collection of ModuleFormer-based Language Models (MoLM) ranging in scale from 4 billion to 8 billion parameters.
- スター
- 225
- フォーク
- 12
- オープンの初心者向け issue
- 0
- 索引済み issue
- 3
- 主要言語
- Python
- ライセンス
- Apache-2.0
- 最終 GitHub push
- 2024年1月2日
- 最新の索引
- 2026年9月17日
- コントリビューションガイド
- コントリビューションガイドがありません
- 行動規範
- 行動規範がありません
- 初心者向けラベル
- 初心者向けラベルは索引されていません
- PR マージ指標
- 30日以内にマージされた PR はありません
-
難易度 2/5 1〜3時間 初心者へのやさしさ 62/100
IBM/ModuleFormer#13 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 15/100
IBM/ModuleFormer#11 ·
-
Length exploration オープン
難易度 5/5 1週間以上 初心者へのやさしさ 20/100
IBM/ModuleFormer#9 ·