IBM/ModuleFormer
Voir sur GitHubModuleFormer is a MoE-based architecture that includes two different types of experts: stick-breaking attention heads and feedforward experts. We released a collection of ModuleFormer-based Language Models (MoLM) ranging in scale from 4 billion to 8 billion parameters.
- Étoiles
- 225
- Forks
- 12
- Issues débutants ouvertes
- 0
- Issues indexées
- 3
- Langage dominant
- Python
- Licence
- Apache-2.0
- Dernier push GitHub
- 2/1/2024
- Dernière indexation
- 17/9/2026
- Guide de contribution
- Aucun guide de contribution
- Code de conduite
- Aucun code de conduite
- Labels débutants
- Aucun label débutant indexé
- Métriques de merge des PR
- Aucune PR mergée en 30 j
3 issues ouvertes indexées
Chargement des issues
-
Verify evals on Papers with Code Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 62/100
IBM/ModuleFormer#13 ·
-
Will you open the train code？ Ouverte
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 15/100
IBM/ModuleFormer#11 ·
-
Length exploration Ouverte
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 20/100
IBM/ModuleFormer#9 ·