Bad throughput with GLU
还没有人认领这个 Issue。
评估
- 难度
- 4/5
- 预计耗时
- 3-5 天
- 新手友好度
- 25/100
- Issue 类型
- 缺陷
- 描述清晰度
- 需要澄清
- 活跃度
- 停滞
- 技术栈
- python
调研方向
在 8 个 H100s 上使用 FSDP SHARD_GRAD_OP 重现报告中的对比，先使用 mlp_type=mlp 和 activation_fn=gelu，然后使用 mlp_type=glu 和 activation_fn=silu。在所述的 expert 和 batch 设置下调查 grouped MLP 和 memory-optimized MLP 路径；完成的标准是找出吞吐量差距的原因，并记录经过验证的改进或限制。
由索引模型根据 Issue 内容生成。
描述
I'm training models with the below specs but seeing major throughput drop when switching to GLU - Do you know why? / Ideas what I could investigate? Thanks a lot! cc @mvpatel2000 @tgale96
active params: 1,011,613,696 (for glu: 1,280,049,152)
total params: 4,769,710,080 (for glu: 6,917,193,728)
8 H100s, 1 node
FSDP SHARD_GRAD_OP
mlp_impl=grouped
n_experts=8
k=1
micro_bs=1
global_bs=512
no megablocks expert/weight parallelism
With mlp_type=mlp & activation_fn=gelu I get 17000 tokens per second per device.
With mlp_type=glu & activation_fn=silu I get 1000 tokens per second per device.
A small drop is expected as it's slightly more params due to glu, but probably not this large? Switching away from grouped or trying the memory optimized mlp did not help. 🤔
- 主要语言
- Python
- 星标
- 1.6k
- 派生
- 227
- PR 合并指标
- 30 天内没有已合并 PR
环境准备
- 提供 Dockerfile 或 Docker Compose 文件
- 有 Pull Request 模板
- 阅读贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
相似的 Issue
-
documentation
难度 2/5 1-3 小时 新手友好度 76/100
awslabs/social-messaging-agent-runtime-toolkit#140 ·
维护者通常 1 天内回复
-
subtask
难度 2/5 1-3 小时 新手友好度 72/100
fga-eps-mds/2026.2-MeasureSoftGram-DOC#187 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 83/100
txn2/mcp-data-platform#2493 ·
维护者通常 1 天内回复
-
bug
难度 2/5 1-3 小时 新手友好度 75/100
YO-WHATS-UP2/minigit#78 ·
维护者通常 3 天内回复
-
documentation
难度 2/5 1-3 小时 新手友好度 78/100
liberation-data/drivine-python#432 ·
维护者通常 1 天内回复